zhihu spider using the scrapy and mongodb 本项目使用scrapy来进行知乎数据爬取,用户信息使用mongodb来进行存储。 1.本项目可以使用验证码来进行登录,支持中文验证码和英文验证码。 2.也可以通过登录过后的cookies来进行免验证码登录 3.重写了去重复的方法 4.存储的信息存储到mongodb数据库中
-
Notifications
You must be signed in to change notification settings - Fork 0
raycool/zhihu-scrapy
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
About
zhihu spider using the scrapy and mongodb
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published