Skip to content

strugglingyouth/jianshu-api

Repository files navigation

爬取简书中的文章保存至 MySQL 并生成 API

基于 python 2.7django 1.9

简书 API 测试地址 : http://222.24.63.118:8080/

1. 爬取前的准备

了解简书整个网站的结构以及分析网页源代码:

2. 爬取简书全站

爬取简书“新上榜”,“热门”中的文章并保存在 MySQL 中。

3. 爬取搜索到的文章

本来想爬取简书中某一类技术文章,由于简书没有明显的分类目录,文章也没有对应的 tag 所以准备爬取搜索到的文章。

对于搜索的文章只能爬取前 100 页,每页 10 条数据。

4. 生成 API

将上面爬取到的文章保存到 MySQL 中,使用 Django REST framework 来生成 API

简书 API

5. 部署上线

  • 使用 nginx + uwsgi + django + supervisor 进行环境部署

    或者

  • 使用 docker 进行环境部署

-_- 目前代码写的比较散乱,后面还会不断重构,如有任何建议,欢迎提 issue,欢迎 fork,pr,当然也别忘了 star 哦!


About

为简书网站写的一个 API

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published