首发于从零开始的的搬砖日常
从零开始写Python爬虫 --- 2.3 爬虫实践：天气预报&数据存储

从零开始写Python爬虫 --- 2.3 爬虫实践：天气预报&数据存储

上次我们只是了解了scrapy框架的基本运作方式，这次我们来写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经mysql数据库中。

目标分析：

这次我们要爬的是 中国天气网：tianqi.com/
随便点开一个城市的天气比如苏州： http://suzhou.tianqi.com/
我们要爬取的就是图中的：江苏苏州天气预报一周：


数据的筛选：

我们使用chrome开发者工具，模拟鼠标定位到相对应位置:



可以看到我们需要的数据，全都包裹在

<div class="tqshow1">

里
我们用bs4、xpath、css之类的选择器定位到这里，再筛选数据就行。
本着学习新知识的原则，文中的代码将会使用xpath定位。
这里我们可以这样：

response.xpath('//div[@class="tqshow1"]')

Scrapy 框架的实施：

创建scrapy项目和爬虫：

scrapy startproject weather
cd weather
scrapy genspider SZtianqi suzhou.tianqi.com

这样我们就已经将准备工作做完了。
看一下当前的目录：

.
├── scrapy.cfg
└── weather
    ├── __init__.py
    ├── __pycache__
    │   ├── __init__.cpython-36.pyc
    │   ├── items.cpython-36.pyc
    │   ├── pipelines.cpython-36.pyc
    │   └── settings.cpython-36.pyc
    ├── data    #我自己添加保存数据的文件夹，你们还没有，不用在意
    │   └── weather.json
    ├── items.py
    ├── middlewares.py
    ├── pipelines.py
    ├── settings.py
    └── spiders
        ├── SZtianqi.py
        ├── __init__.py
        └── __pycache__
            ├── SZtianqi.cpython-36.pyc
            └── __init__.cpython-36.pyc

编写items.py:

这次我们来先编写items,十分的简单，只需要将希望获取的字段名填写进去：

import scrapy
class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    date = scrapy.Field()
    week = scrapy.Field()
    img = scrapy.Field()
    temperature = scrapy.Field()
    weather = scrapy.Field()
    wind = scrapy.Field()

编写Spider:

和上文介绍的一样，这个部分使我们整个爬虫的核心，
主要目的是：
将Downloader发给我们的Response里筛选数据，并返回给PIPELINE处理

代码里有详细的注释，仔细看一下都是能看明白的，
主要是里面会用到一些对字符串处理的小技巧。

# -*- coding: utf-8 -*-
import scrapy
# 别忘了，将item导入进来，这样数据才能在各个模块之间流转
from weather.items import WeatherItem

class SztianqiSpider(scrapy.Spider):
    name = "SZtianqi"
    # 我们修改一下host，使得Scrapy可以爬取除了苏州之外的天气
    allowed_domains = ["tianqi.com"]

    # 建立需要爬取信息的url列表
    start_urls = []

    # 需要爬的城市名称 可以自行添加
    citys = ['nanjing', 'suzhou', 'shanghai']

    # 用一个很简答的循环来生成需要爬的链接：
    for city in citys:
        start_urls.append('http://' + city + '.tianqi.com')

    def parse(self, response):
        '''
        筛选信息的函数：
        date = 今日日期
        week = 星期几
        img = 表示天气的图标
        temperature = 当天的温度
        weather = 当天的天气
        wind = 当天的风向
        '''

        # 先建立一个列表，用来保存每天的信息
        items = []

        # 找到包裹着每天天气信息的div
        sixday = response.xpath('//div[@class="tqshow1"]')

        # 循环筛选出每天的信息：
        for day in sixday:
            # 先申请一个weatheritem 的类型来保存结果
            item = WeatherItem()

            # 观察网页，知道h3标签下的不单单是一行str，我们用trick的方式将它连接起来
            date = ''
            for datetitle in day.xpath('./h3//text()').extract():
                date += datetitle
            
            item['date'] = date

            item['week'] = day.xpath('./p//text()').extract()[0]
            item['img'] = day.xpath(
                './ul/li[@class="tqpng"]/img/@src').extract()[0]
            tq = day.xpath('./ul/li[2]//text()').extract()
            # 我们用第二种取巧的方式，将tq里找到的str连接
            item['temperature'] = ''.join(tq)
            item['weather'] = day.xpath('./ul/li[3]/text()').extract()[0]
            item['wind'] = day.xpath('./ul/li[4]/text()').extract()[0]
            items.append(item)
        return items

编写PIPELINE：

我们知道，pipelines.py是用来处理收尾爬虫抓到的数据的，
一般情况下，我们会将数据存到本地：

    • 文本形式： 最基本的方式
    • json格式 ：方便其他程序员调用
    • 数据库： 数据量多时

我们来一一讲解：

TXT（文本）格式：

import os
import requests
import json
import codecs
import pymysql

class WeatherPipeline(object):
    def process_item(self, item, spider):
        '''
        处理每一个从SZtianqi传过来的
        item
        '''
        
        # 获取当前工作目录
        base_dir = os.getcwd()
        # 文件存在data目录下的weather.txt文件内
        fiename = base_dir + '/data/weather.txt'

        # 从内存以追加的方式打开文件，并写入对应的数据
        with open(fiename, 'a') as f:
            f.write(item['date'] + '\n')
            f.write(item['week'] + '\n')
            f.write(item['temperature'] + '\n')
            f.write(item['weather'] + '\n')
            f.write(item['wind'] + '\n\n')

        # 下载图片
        with open(base_dir + '/data/' + item['date'] + '.png', 'wb') as f:
            f.write(requests.get(item['img']).content)

        return item

json格式数据：

我们想要输出json格式的数据，最方便的是在PIPELINE里自定义一个class：

class W2json(object):
    def process_item(self, item, spider):
        '''
        讲爬取的信息保存到json
        方便其他程序员调用
        '''
        base_dir = os.getcwd()
        filename = base_dir + '/data/weather.json'

        # 打开json文件，向里面以dumps的方式吸入数据
        # 注意需要有一个参数ensure_ascii=False ，不然数据会直接为utf编码的方式存入比如:“/xe15”
        with codecs.open(filename, 'a') as f:
            line = json.dumps(dict(item), ensure_ascii=False) + '\n'
            f.write(line)

        return item

数据库格式（mysql）:

Python对市面上各种各样的数据库的操作都有良好的支持，
但是现在一般比较常用的免费数据库是mysql，我们就以这个为例。

详细有很多同学和我一样对数据库一脸懵逼，但是实际上并没有那么难，只要掌握了基本语法，其实他就是一个高级的“文本文件”。
想要学习相关知识：runoob.com/mysql/mysql-

    • 在本地安装mysql：

linux和mac都有很强大的包管理软件，如apt，brew等等
window 可以直接去官网下载安装包。

brew install mysql


在安装的过程中，他会要求你填写root用户的密码，

这里的root并不是系统层面上的超级用户，是mysql数据库的超级用户。
安装完成后mysql服务是默认启动的，
如果重启了电脑，需要这样启动（mac）：

mysql.server start
    • 登录mysql并创建scrapy用的数据库:
# 登录进mysql
mysql -uroot -p(括号不用写，里面填写自己的passwd)

# 创建数据库：scrapyDB ,以utf8位编码格式，每条语句以’；‘结尾
CREATE DATABASE scrapyDB CHARACTER SET 'utf8';

# 选中刚才创建的表：
use scrapyDB；

# 创建我们需要的字段：字段要和我们代码里一一对应，方便我们一会写sql语句
CREATE TABLE weather(
id INT AUTO_INCREMENT,
date char(24),
week char(24),
img char(128),
temperature char(24),
weather char(24),
wind char(24),
PRIMARY KEY(id) )ENGINE=InnoDB DEFAULT CHARSET='utf8'

来看一下weather表长啥样：


show columns from weather
或者：desc weather
    • 安装Python的mysql模块：

Python下有很多操作mysql的模块，这里我推荐pymysql
官方文档：Welcome to PyMySQL’s documentation!

pip install pymysql

最后我们编辑与一下代码：

class W2mysql(object):
    def process_item(self, item, spider):
        '''
        将爬取的信息保存到mysql
        '''

        # 将item里的数据拿出来
        date = item['date']
        week = item['week']
        temperature = item['temperature']
        weather = item['weather']
        wind = item['wind']
        img = item['img']

        # 和本地的scrapyDB数据库建立连接
        connection = pymysql.connect(
            host='localhost',  # 连接的是本地数据库
            user='root',        # 自己的mysql用户名
            passwd='********',  # 自己的密码
            db='scrapyDB',      # 数据库的名字
            charset='utf8mb4',     # 默认的编码方式：
            cursorclass=pymysql.cursors.DictCursor)

        try:
            with connection.cursor() as cursor:
                # 创建更新值的sql语句
                sql = """INSERT INTO WEATHER(date,week,temperature,weather,wind,img)
                        VALUES (%s, %s,%s,%s,%s,%s)"""
                # 执行sql语句
                # excute 的第二个参数可以将sql缺省语句补全，一般以元组的格式
                cursor.execute(
                    sql, (date, week, temperature, weather, wind, img))

            # 提交本次插入的记录
            connection.commit()
        finally:
            # 关闭连接
            connection.close()

        return item

编写Settings.py

我们需要在Settings.py将我们写好的PIPELINE添加进去，
scrapy才能够跑起来
这里只需要增加一个dict格式的ITEM_PIPELINES，
数字value可以自定义，数字越小的优先处理

BOT_NAME = 'weather'

SPIDER_MODULES = ['weather.spiders']
NEWSPIDER_MODULE = 'weather.spiders'
ITEM_PIPELINES = {'weather.pipelines.W2mysql': 300,
                  'weather.pipelines.WeatherPipeline': 500,
                  'weather.pipelines.W2json': 400}

ROBOTSTXT_OBEY = True

让项目跑起来：

scrapy crawl Sutianqi

结果展示:

文本格式：


json格式：


数据库格式：



好了 这次的例子就到这里了，主要介绍了如何通过自定义PIPELINE来将爬取的数据以不同的方式保存。还是那句话，代码要自己一点一点慢慢敲，一点一点慢慢debug才能有进步
加油~ 完整的代码也被上传到Github了。


每天的学习记录都会 同步更新到：
微信公众号： findyourownway

知乎专栏：从零开始写Python爬虫 - 知乎专栏

blog ： www.ehcoblog.ml

Github： Ehco1996/Python-crawler

编辑于 2017-06-04 18:57
Python
scrapy
爬虫

文章被以下专栏收录