lagoujob

功能

• 利用scrapy框架爬取拉勾指定城市指定职位并存入数据库。

使用方法

• 需修改pipline.py中及本地数据库信息。
• 需修改setting.py中ProxyMiddleware中代理信息(代理IP可能已失效)，此代理无抵御反爬作用，只是为了不通过本地IP访问招聘网站。
• 运行main.py文件，并在调试窗口根据提示输入 城市：北京 职位：数据挖掘 之类的分类信息。