LiteCrawler 简单爬虫封装,用于基础认识一些爬虫可用知识。 需要安装的工具包: redis 和 mongo Windows下的Redis可以用这里的特殊版本,或者启动Windows 10中的Linux子系统。 Python下需要pip安装的包有pymongo, grequests, redis, click, fake-useragent等。