爬虫 (计算机网络)
数据开发——章节一：爬虫之初体验
1. 目的 公司项目测试数据 、公司业务部门或者其他部门所需要的数据进行数据分析 2. 方法 （１）公司自有的数据 第三方数据平台购买（tushare, 数据堂， 贵阳大数据交易所） （２） 通过爬虫爬取数据 优势：解析模块丰富成熟、强大的scrapy网络爬虫框架 3. 爬取分类 （１）静态网页：独立存在服务器的网页文件，内容相对固定 （２）动态网页：当用户请求时，服务器才返回一个完整的网页 4. 爬虫步骤4.1 开发主要思路： （１）确…
网络爬虫-基本库-正则表达式的使用和理解-04
学负五车
本节主要是想讲解关于网络爬虫的HTTP基本库以及一些正则知识,帮助我们更好的模拟用户请求和爬虫数据结构，结合之前的文章， 网络爬虫-小白 - 统计猿的文章 - 知乎 https://zhuanlan.zhihu.com/p/596815605 ；爬虫网页-xpath运用 - 统计猿的文章 - 知乎 https://zhuanlan.zhihu.com/p/611373925 ；网络爬虫-自动化-影刀 - 统计猿的文章 - 知乎 https://zhuanlan.zhihu.com/p/611490653 ；我们基本可以爬取一些简单的网站，并且进行一些简单的项目实战，那么我们相要进一步学习爬虫就要好好跟…
我是如何开始能写python爬虫的？给入门python小白一条清晰的学习路线
重要的事说三遍：不要从看书开始，不要从看书开始，不要从看书开始！~~ 爬虫这么有意思的东西，看书多没有乐趣，从网上找个视频，直接跟着写，然后再根据视频，按照自己的想法写个爬虫，爬取自己想要的东西，多么有意思。 这里我推荐进群获取python爬虫教程，按照里面爬虫的教程写几个程序，会对爬虫有新的认识。 写一下我自己从零开始写python爬虫的心得吧！ 我刚开始对爬虫不是很了解，又没有任何的计算机…
小白如何入门 Python 爬虫？
本文针对初学者，我会用最简单的案例告诉你如何入门python爬虫！ 想要 入门Python 爬虫首先需要解决四个问题熟悉python编程了解HTML了解网络爬虫的基本原理学习使用python爬虫库一、你应该知道什么是爬虫？网络爬虫，其实叫作 网络数据采集更容易理解。就是 通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。归纳为四大步： 根据url获取HTML数据解析HTML，获取目标信息存储数据重复第一步这会涉…
Akamai2.0破解思路
收拾身心，自做主宰
1.背景学习Akamai好几个月，分享下整个过程和思路。顺便问下如果有人需要，想要代码可以私聊，当然不是免费的。 2.思路2.1 理解环境数组要搞Akamai第一步肯定就是先理解sensor_data环境数组的含义。如果不理解数组的含义，理解了数组的含义，才能用程序模仿浏览器，得到有效的abck。但是Akamai的js代码都是经过混淆的，所以要理解它就需要先进行反混淆。这个我之前分享过反混淆的思路 https://blog.csdn.net/qq_41283696/article/details/136958092?spm=1001.2014.3001.5502 [图片] 2.2 分析各种浏览器信…
硅谷程序员 | creator of 卡拉云
“入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目标驱动，而不会像学习模块一样慢慢学习。 另外如果说知识体系里的每一个知识点是图里的点，依赖关系是边的话，那么这个图一定不是一个有向无环图。因为学习A的经验可以帮助你学习B。因此，你不需要学习怎么样“入门”，因为这样的“入门”点根本不存在！你需要学习的是怎么样做一个比较大的东西，在这个过程中，你会很快地学会需…
从E绅士（Ehentai）47万条本子数据看各国死宅的兴趣爱好。
拉黑一切在非必要的场合下明示、暗示自己性别为女的用户
E绅士我也用了3年了，但是E绅士的用户都知道，E绅士并没有什么按收藏排序之类的功能，导致平时就只能翻来翻去刷些老物。所以我萌生了写一个E绅士爬虫，获取E绅士所有本子数据的想法。 我自学python已经一年了，期间写过不少玩具程序，玩具爬虫也写过几个，这次对E绅士的爬虫差不多算是这一年里写过最大的python程序了（虽然回头去看程序一点也不python）。 P.S：这个文章已经是一年前的了，2017年一年间，E绅士的中文用户数量有…
2022 更新： 你法我笑.jpg 请忽略分割线下的原答案。在你居住的这片土地，law 并不存在。所以我现在的建议是：对于小网站，只要你良心过得去，可以随便爬；对于大公司，谨言慎行吧，法律是他们那边的工具，不是你的挡箭牌。 你们这些人既没有写过爬虫，也不懂 robots.txt 就在这里瞎答一气，动不动就是像个复读机一样开始「爬虫爬进了监狱」，真是误人子弟！ robots.txt 说白了是个「君子协议」，没有任何技术约束，更被说法律效…
这届网友已经开始用爬虫互相贴标签了
十几天前，在为C端用户提供拓展脚本的论坛网站Greasy Fork上，一位开发者做了一款“原神玩家指示器”。据开发者留下的公开信息，此拓展脚本主要应用于B站视频的评论区，安装了该工具的用户可以识别出发言的网友是否为原神玩家。 [图片] 识别的方式也很简单，经过拓展脚本的筛选，符合条件的网友会在其头像与昵称的后面，被标注上“原神玩家”几个字。 [图片] 这款拓展脚本一经发布，就引起了游戏玩家的强烈反响。在Greasy Fork这个较为小众的用…
南京大学 理学硕士
说个故事吧，15年的时候，我们团队想爬工商数据，但是官方的验证码太恶心了（现在更恶心，大家没事可以登录全国企业信用公示系统试试看），于是就找到一家做第三方服务的公司，现在他们发展得挺不错了，当时还没什么名气。 刚开始爬的时候，他们几乎没有反爬措施，我们也没有什么反反爬经验，只是简单的用了httpClient库，模拟一下浏览器头。开了八个线程，晚上扔服务器上开爬。第二天来看，晚上八九点就全断了，登录对方网站想…
数阔创始人&CEO
（好多人点赞，我就把我的回答再好好的完善一下） 免费的爬虫软件，目前最好用的就是八爪鱼采集器。现在全球100万的用户都选择八爪鱼采集器，口碑就是最好的证明。市场上那么多采集器可以选，为什么选择八爪鱼呢？选择一款好的免费采集工具到底最终要的衡量标准是什么呢？ 1. 必须能采集任何网站，如果弄了半天你想采集的网站不支持那就悲剧了，八爪鱼是市面上采集网站覆盖最广的工具，支持任何网站的采集，而很多其他采集器只能…
《Python3网络爬虫开发实战》作者，公众号：进击的Coder
2022.2.13 更新： 现在我的《Python3网络爬虫开发实战（第二版）》已经在 2021 年底正式上市了！！!之前第一版的爬虫书《Python3网络爬虫开发实战》在 2018 年出版，上市三年来，一直处于市面上所有爬虫书的销冠位置，豆瓣评分 9.0 分，销量 10w 册。 如今，这本书现在又进一步做了升级，第二版将案例进行了全面升级，自建了案例平台防止代码过期，同时增加了非常多的新技术、新知识的介绍，比如异步爬虫、JavaScript 逆向、安卓…
https://robberphex.com/
robots.txt其实应该叫爬虫协议。 另外，robots.txt确实可以申明某些页面不允许爬虫索引，但这只是一个技术约定，还是挡不住信息被采集的。 其次，robots.txt有一个很大的缺点就是很多链接直接暴露出现了，比如一看你的robots.txt，基本上就可以确定这个网站的一些敏感页面了。（比如你申明/admin不能索引，那么大家就猜到后台大概就是/admin页面了） 有一段时间知乎就是在robots.txt中标注了很多敏感回答，然后大家有针对性的去…
公众号、B站账号“数学建模钉子户”有数学建模视频课程
我认为学习Python是一个由浅入深的过程，或者说学习任何一样东西都是分阶段的，在不同的阶段会面对不同的困难。下面就以我自己在学习利用Python进行数据分析的过程为例子，讲讲我在各个阶段学习Python时遇到的困难。 我在学习Python数据分析的第一个阶段是学习一些基本的数学知识，主要内容集中在高等数学和线性代数以及概率论方面。其实我的想法是如果想要精通数据分析，只懂得如何编程和处理数据是远远不够的，基本的数学知识…
新一代爬虫利器 -- Playwright
[图片] 最近，微软开源了一个项目叫「playwright-python」，作为一个兴起项目，出现后受到了大家热烈的欢迎，那它到底是什么样的存在呢？今天为你介绍一下这个传说中的小白神器。 Playwright 是针对 Python 语言的纯自动化工具，它可以通过单个API自动执行 Chromium，Firefox 和 WebKit 浏览器，连代码都不用写，就能实现自动化功能。 虽然测试工具 selenium 具有完备的文档，但是其学习成本让一众小白们望而却步，对比之下 playwright…
关于爬虫，就此封键盘
昨晚在微信收到一个小伙伴的问题，关于之前的几篇爬虫相关的文章。 由于上一份工作中写了大量的爬虫，顺便写了几篇入门级的爬虫相关文章，本来计划再多写点爬虫相关高难度技巧的，但是不想再碰爬虫，就作罢了。 这里将过去写过的相关文章列举如下，以后应该再也不碰爬虫相关的任何问题了（ 声明：由于时间原因，所以不保证文中的方法现在依然可用，也不保证其准确性，仅供参考~）：爬虫必备——requests 01. 准备 02. 简单的尝试 …
把学校所有重要的在线服务用爬虫集合成了一套JSON API ，然后开发成了App，并且加了一个类似微信朋友圈的功能，可以说是校友圈吧。全校同学和同班同学都可以通过它互相交流，和微信不同的是，同班之间的交流会有消息推送。 App有iOS版和Android版，可以下载并查看教学文档和习题文件，老师有新的通告也会发推送给同学们，还可以查看成绩，课程表，考试时间，个人财务，校园新闻，出勤率等。 目前基本全校都在使用。 一个人开发了…
淘宝商品信息采集器二，开放源码可自定义关键词进行采集
前腾讯高工，web3/合约/安全，Git7K星 技术博主
淘宝商品信息采集器 开放源码篇。 上篇 文章 知乎链接： 淘宝商品信息采集器，我拿下了信息却看不透套路 - 知乎专栏 博客链接： 任意关键词下淘宝商品信息采集器 现在整理好代码连同使用方式发布在github上，欢迎star，并且多多指教。 github： 淘宝关键词采集器 博客原文：urlteam 主要程序运行环境：python 2.7 经测试，环境配置得当可在mac，linux ubuntu 16.04 和win7下完美运行。 python依赖包：import requests import time…
用Python抓取某东购买记录并统计MM的bra大小
二胖最近在逛京东的时候偶然发现：MM们购买bra的记录上竟然留下了尺寸和颜色等信息，我当时就想，要不要抓点数据下来看看啊？ 然后就有了这篇文章~~~ Let's go! [图片] 在抓数据前，先给各位男性朋友科普一下，这个size信息到底怎么看（ps:我也是在网上查的(⊙o⊙)…） 70B,80C...到底啥意思？ [图片] 数字的意思是下胸围，是水平围绕胸部底部一周的长度，即胸部下围尺寸，单位是厘米。 如果下胸围在68cm~72cm之间，那么就可以选择70码。 然后ABC…