【爬虫】你需要的反反爬小妙招来啦~

作为一名职业的爬虫工程师，每天面对的就是要和目标网站后方的反爬虫工程师斗智斗勇，似乎颇有一种攻城拔寨的感觉，在终于突破层层阻碍之后，“200 OK”将会到来。

在关于反反爬的第一篇文章，我将根据我的经验，先介绍一下基于Headers反爬、基于用户行为反爬，及其相对应的反反爬手段。

对所有请求的Headers进行检查是反爬的第一步，一般情况下，网站的工程师会对所有请求的头部进行检查，疑似爬虫的请求都将被丢弃或返回400。常见的检查项有：User-Agent、Referer和其他。

【User-Agent】：对User-Agent的检查一般是为了鉴别请求发出使用的工具，比如默认情况下Python requests发出的请求中User-Agent字段都是Python的版本信息，Curl发出的请求中User-Agent字段都是Curl版本信息等，反爬人员只要对其进行匹配，就可以筛掉爬虫程序，正常的用户肯定不是使用这些工具来访问页面的，不是么。

应对手段：要避免被反爬人员识别我们的爬虫程序，那就要进行User-Agent的伪装，几乎所有可以发出HTTP请求的工具都可以指定Headers，比如Python requests模块，在get或者post时，可指定Headers。常用的办法是（这也是我刚Get到的），构建一个UA数组，每次请求由程序随机获取UA。如下。

如果上面的办法还是不奏效的话，那就要祭出大招了，将UA的参数改为“Baiduspider+”，基本就妥了。(hahaha)

【Referer】：一般对Referer检查的不对，但是有一些为了防止盗链，会对部分页面进行Referer的判断，比如，页面A只能从页面B点击过来，没有其他途径，那么你的Headers中显示从页面C过来，那保不齐就给你400了。

应对手段：在进行协议模拟和协议仿真的时候，多留点心。出错了看看浏览器真实访问的Referer，copy过来嘛。

【其他】：有一些站点，是会构建特殊参数在Headers里面，如果没有这些参数就不能正常返回。

应对手段：这些参数有可能是固定的，也有可能是上下文获取的或计算得到的，这就需要更多的经验和仔细的分析了。如果是固定的那照抄就好，如果是上下文传过来的，那分析上下文找到参数的来源再模拟即可。如果是计算得来的，那就属于比较难处理的一种了，需要分析和跟踪JS代码获取参数的计算方法，这一部分后面的文章再讲吧。

基于用户行为是个大的分类，里面包括很多种反爬手段，比如某账号频繁多次访问，比如前端判断输入密码是的姿势不对（支付宝判断输入账户密码不符合人类行为会不予登录，比如输入过快，在使用selenium模拟浏览器操作时会遇到类似问题），比如某IP频繁访问等等。这里主要要介绍的是反爬人员针对IP进行筛选，屏蔽频繁访问的IP地址这种手段。

经过潜伏在反爬阵营里的小伙伴透露，在反爬人员观察后端数据时，有时会看到同一个IP短时间里的访问请求UA一直在变。然后他就把这个IP加到了黑名单。

这个UA一直变的，应该是用到了我们前面说到的随机UA的方案，但是，反爬人员又看到IP是不变的，便将其判定为爬虫程序。那如果我们的访问IP也是一直变化啊的呢。

将将将将~

今天的主角出场【HTTP(S)代理】。

我们要用到的就是通过代理服务器访问目标站点以达到隐藏真实IP的目的。

目前我们用来做爬虫的工具基本都是支持通过配置代理访问的，比如使用Python requests，在get/post请求通过参数proxies配置HTTP代理进行访问，远端将无法辨别你的真实地址（指匿名代理，该场景不使用透明代理）。如下：

所以在工作中，我们可能需要大量可用的HTTP代理资源。当然，万能的某宝一定是有卖的，但是要么质量不好，要么卖得太贵。

于是，我用爬虫爬取了网上大量的可用代理，并定时进行可用性验证，生成了自己的高可用高匿HTTP(S)代理池。

有福同享，我将我的爬虫部署在了百度云服务器，然后由微信公众号访问获得并下发给各位。

现在，只要关注我，在后台回复 代理 即可获得最新更新的10条高匿代理资源。如果你需要更大量的数据，请私下与我联系。

对于HTTPS代理是否有效，可以在 百度搜索 ip 进行测试。如下。

关于反反爬我会根据自己的成长和经验一直写下去，希望感兴趣的朋友关注。

重申一下：在后台回复 代理 即可获得最新更新的10条高匿代理资源。另外，回复 目录 可看到提供的各项功能。

Over~

      非经过本人同意，严禁转载。