分布式爬虫环境配置

这几天有用户反应环境配置比较麻烦，所以写了一篇文章，专门介绍如何搭建环境，主要是关于redis的配置。

下面我以ubuntu为例来讲解如何搭建环境

配置msyql

由于这部分基本大家都会，那么我就不啰嗦了。建议大家使用可视化工具（比如navicat或者datagrip）来操作mysql数据库

配置redis

好像大家的疑问都集中在redis的配置上，下面我详细说说

1. 在要安装redis的目录下载好redis，比如我的路径是/home/ubuntu/program/，先需要切换到该目录（通过cd /home/ubuntu/program切换），然后通过wget进行下载

wget http://download.redis.io/releases/redis-3.2.9.tar.gz

2. 解压下载好的压缩包

tar xzf redis-3.2.9.tar.gz

3. 进入解压的目录

cd redis-3.2.9/

4. 通过make编译，它会自己执行make install

make

5. 启动redis看是否成功

src/redis-server

如果不成功就给我提issue，成功了就往下面看

6. 按 ctrl+c 停止redis，在redis-3.2.9/这个目录下修改redis.conf配置文件，主要是改这几点：（1）为redis设置密码 (2)让redis监听所有请求 (3)把redis进程改为守护进程

vim redis.conf

在

# Examples:
#
# bind 192.168.1.100 10.0.0.1
# bind 127.0.0.1 ::1

后面加一行

bind 0.0.0.0

它的作用是让redis监听所有ip请求

然后在

# Warning: since Redis is pretty fast an outside user can try up to
# 150k passwords per second against a good box. This means that you should
# use a very strong password otherwise it will be very easy to break.
#
# requirepass foobared

这里添加一行

requirepass weibospider

这里的作用是为redis设置密码，我设置的密码是weibospider，你们可以根据实际情况设置

然后在这里

# By default Redis does not run as a daemon. Use 'yes' if you need it.
# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.
daemonize no

将daemonize no改成 daemonize yes

然后再将改动保存，退出。（这里我并没介绍vim的操作，大家如果这里操作有难度，可以自行google解决啊）

7. 这次通过配置文件启动redis,同样在redis-3.2.9/这个目录下，通过

src/redis-server redis.conf

启动redis

8. 其实，到这里，redis就已经启动了。可以通过

ps aux|grep redis

查看redis进程是否存在

安装python3

python3的安装，我这里就不多讲了，我写过一篇文章，大家可以看看，主要是要安装ssl模块

文章链接：http://www.rookiefly.cn/detail/86