PHP多进程/多线程爬虫

1、基于swoole扩展

2、抓取目前可采用curl或者snoopy 

3、解析数据目前可使用 dom解析

其余类库会进一步支持

使用说明

1、安装swoole扩展  最新版本即可
   sudo pecl install swoole  

2、安装redis扩展
   sudo apt-get install redis-server 

3、配置config/site.php 

4、php start_crawl.php  

5、php start_parse.php

目前只是基本功能实现，基本都不支持自定义功能。只支持在CLI下运行