myspider project

by gemengmeng

组成部分

知乎用户信息爬虫
微博用户信息爬虫
即刻APP用户信息爬虫
cookies池
proxy池
docker部署scrapyd+单机知乎微博爬虫

高效部分

分布式
AIO
多进程

主要目标

学习巩固提升爬虫技能
学校程序设计课程

reference: Germey大神 + 《python3网络爬虫开发实战》