知蛛 — 抓取知乎的问题及答案的爬虫,采用SQLite存储
- Mac OS X
-
sudo pip install requests
-
sudo pip install pyyaml
-
STATIC_DEPS=true sudo pip install lxml
- Ubuntu
-
sudo pip install requests
-
sudo pip install pyyaml
-
sudo apt-get install libxml2-dev libxslt-dev python-dev
-
sudo pip install lxml
1.修改Config.yaml文件中的知乎账号部分信息,填入可以使用的账号
2.执行python Setup.py
3.参考ZhiSpider.py的__main__部分,开启功能,并执行python ZhiSpider.py