Skip to content

strugglingyouth/jianshu-api

Folders and files

NameName
Last commit message
Last commit date
Feb 4, 2017
Jul 29, 2016
Sep 1, 2016
Jul 26, 2016
Jul 22, 2016
Aug 11, 2016
Jul 28, 2016
Feb 4, 2017
Jul 22, 2016
Feb 4, 2017
Jul 28, 2016
Feb 4, 2017

Repository files navigation

爬取简书中的文章保存至 MySQL 并生成 API

基于 python 2.7django 1.9

简书 API 测试地址 : http://222.24.63.118:8080/

1. 爬取前的准备

了解简书整个网站的结构以及分析网页源代码:

2. 爬取简书全站

爬取简书“新上榜”,“热门”中的文章并保存在 MySQL 中。

3. 爬取搜索到的文章

本来想爬取简书中某一类技术文章,由于简书没有明显的分类目录,文章也没有对应的 tag 所以准备爬取搜索到的文章。

对于搜索的文章只能爬取前 100 页,每页 10 条数据。

4. 生成 API

将上面爬取到的文章保存到 MySQL 中,使用 Django REST framework 来生成 API

简书 API

5. 部署上线

  • 使用 nginx + uwsgi + django + supervisor 进行环境部署

    或者

  • 使用 docker 进行环境部署

-_- 目前代码写的比较散乱,后面还会不断重构,如有任何建议,欢迎提 issue,欢迎 fork,pr,当然也别忘了 star 哦!


About

为简书网站写的一个 API

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published