部署pyspider到云服务器上

因为自己一直想实现一些方便自己的小功能,所以购买了腾讯云服务器来实现爬虫脚本的自动化,而不用隔段时间自己去看小说更新没。

1.获取源

wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0a1.tar.xz

如果报错Python-3.6.0a1.tar.xz: Permission denied Cannot write to ‘Python-3.6.3.tgz’ (Success).
开启root权限

sudo -i

2.解压缩

tar xvf  Python-3.6.0a1.tar.x

3.进入目录

./configure

4.编译并安装

make
make install

5.安装pysider以及它的依赖包

sudo apt-get install python-dev
sudo apt-get install python-distribute
sudo apt-get install libcurl4-openssl-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install pythonlxml
pip install pyspider

6.配置部署

mkdir /etc/pyspider #创建文件夹
vim /etc/pyspider/pyspider.conf.json

在json文件中保存下面的代码,其中mysqlUser为mysql用户名,mysqlPasswd为mysql密码,webuiUser为登录控制台的用户名,webuiPasswd为登陆控制台的密码

{
"taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",
"projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",
"resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",
"message_queue": "redis://127.0.0.1:6379/db",
"webui": {
"username": "webuiuser",
"password": "webuipasswd",
"need-auth": true
}
}

7.后台运行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

参考

  1. ubuntu 安装 pyspider
  2. CentOS搭建PySpider爬虫服务
  3. CentOS部署pyspider