如何爬取全网1200本Python书|爬虫实战篇

这是菜鸟学Python的第98篇原创文章

阅读本文大概需要3分钟

1).市面上所有的Python书，都在京东，淘宝和豆瓣上，于是我选择了豆瓣来爬取

2).分析网站的结构，其实还是比较简单的，首先有一个主的页面，里面有所有python的链接，一共1388本(其中有100多本其实是重复的),网页底部分页显示一共93页

3).这个页面是静态页面，url页比较有规律，所以很容易构造出所有的url的地址

4).爬虫每个分页里面的所有的Python书和对应的url,比如第一页里面有"笨办法这本书",我们只需要提取书名和对应的url

1).上面我们已经提取了93个页面的所有的Python书和对应的url,一共是93*15大概1300多本书,首先先去重，然后我们可以把它存到内存里面用一个字典保存，或者存到一个csv文件中去(有同学可能奇怪为啥要存到文件里面呢，用字典存取不是方便吗,先不说最后揭晓)

2).我们接着分析每本书页面的特征:

上一片文章说过我们需要分析：

作者/出版社/译者/出版年/页数/定价/ISBN/评分/评价人数

看一下网站的源码,发现主要的信息在div id="info" 和div class="rating_self clearfix"

3).这一部分的数据清洗是比较麻烦的，因为不是每一本书都是有点评和评分系统的,而且不是每一本书都有作者，页面，价格的，所以提取的时候一定要做好异常处理,比如有的页面长的这样:

原始数据采集的过程中有很多不一致的数据：

• 书的日期表示格式，各种各样都有:

有的书的日期是:'September 2007'，'October 22, 2007'，'2017-9','2017-8-25'

• 有的书的价格是货币单位不统一，有美金,日元，欧元和人民币

比如:CNY 49.00，135,19 €，JPY 4320， $ 176.00

1).有的同学后台问我，你是用scrapy框架还是自己动手写的，我这个项目是自己动手写的,其实scrapy是一个非常棒的框架，如果爬取几十万的数据，我一定会用这个超级武器.

2).我用的是多线程爬取，把所有的url都扔到一个队列里面，然后设置几个线程去队列里面不断的爬取，然后循环往复，直到队列里的url全部处理完毕

3).数据存储的时候，有两种思路：

• 一种是直接把爬取完的数据存到SQL数据库里面，然后每次新的url来了之后，直接查询数据库里面有没有，有的话，就跳过，没有就爬取处理

  
  

• 另一种是存入CSV文件，因为是多线程存取，所以一定要加保护，不然几个线程同时写一个文件的会有问题的，写成CSV文件也能转换成数据库，而且保存成CSV文件还有一个好处，可以转成pandas非常方便的处理分析.

1).一般大型的网站都有反爬虫策略，虽然我们这次爬的数量只有1000本书，但是一样会碰到反爬虫问题

2).关于反爬虫策略，绕过反爬虫有很多种方法。有的时候加时延(特别是多线程处理的时候)，有的时候用cookie,有的会代理，特别是大规模的爬取肯定是要用代理池的,我这里用的是cookie加时延,比较土的方法.

3).断点续传，虽然我的数据量不是很大，千条规模，但是建议要加断点续传功能,因为你不知道在爬的时候会出现什么问题，虽然你可以递归爬取，但是如果你爬了800多条，程序挂了，你的东西还没用存下来，下次爬取又要重头开始爬，会吐血的(聪明的同学肯定猜到，我上面第二步留的伏笔，就是这样原因)

1).整个的代码架构我还没有完全优化，目前是6个py文件，后面我会进一步优化和封装的

• spider_main:主要是爬取93个分页的所有书的链接和书面，并且多线程处理
  

• book_html_parser:主要是爬取每一本书的信息

• url_manager:主要是管理所有的url链接

• db_manager:主要是数据库的存取和查询

• util:是一个存放一些全局的变量

• verify:是我内部测试代码的一个小程序

2).主要的爬取结果的存放

all_books_link.csv:主要存放1200多本书的url和书名

python_books.csv:主要存放具体每一本书的信息

3).用到的库

爬虫部分：用了requests,beautifulSoup

数据清洗：用了大量的正则表达式，collection模块，对书的出版日期用了datetime和calendar模块

多线程:用了threading模块和queue

结论:

好，今天的全网分析Python书，爬虫篇，就讲道这里，基本上我们整个这个项目的技术点都讲了一遍，爬虫还是很有意思的，但是要成为一个爬虫高手还有很多地方要学习，想把爬虫写的爬取速度快，又稳健，还能绕过反爬虫系统,并不是一件容易的事情. 有兴趣的小伙伴，也可以自己动手写一下哦。源码等后面的数据分析篇讲完后，我会放github上,若有什么问题，也欢迎留言讨论一下.

欢迎大家关注 菜鸟学Python",更多好玩有趣的Python原创教程,趣味算法,经验技巧,行业动态，尽在菜鸟学Python,一起来学python吧

        Python数据库起航篇|零基础起步

学会最简单的数据库|看完这7招就够了

3分钟带你了解SQL高级操作

你离学会操作SQL数据库|还剩最后2招

我爬取了市面上所有的Python书|想知道几件事

来源 | 菜鸟学Python

作者 | xinxin