[关闭]
@joshsulin 2015-06-01T07:39:19.000000Z 字数 1507 阅读 609

折800 CPS销量抓取文档

折800工作交接文档


账号说明:SSH 用户名 root, 密码:5CE36sd36A9g0BDE8A
     vnc 端口都为 5901, 密码:tuan800

线上有两台服务器(运行账号为 webuser)

  1. 192.168.88.4 -> 控制线上命名为1..43台客户端
  2. 192.168.88.27 -> 除了 192.168.88.4 控制的客户端外,全部都在这台服务器上面

项目代码信息

git 地址:git@git.tuan800-inc.com:ruby/cps_selenium.git
开发分支:master, 因为参与开发人员不多,所以直接就是在master上面开发。

如何排查错误

  1. 如何进入监控页面

  2. 如何定位哪些抓取服务器有问题

    • 最近1小时,最近3小时,最近5小时 抓取的页数都为0,这样的服务器肯定是有问题的
    • 其实我认为,只要是最近3小时,最近5小时 抓取的页数都为0,这些服务器都应该进行修复

如何修复服务器

  1. 重启服务器(我一般就这样操作, 十有八九就能解决)

    • 这一步己经不需要人工参与了,己实现了自动化了
    • 查看机器重启日志, 在项目 项目根目录/log/qing_cloud_restart_machine.log,记录了机器启动日志
  2. 更换代理IP(通过设置服务器的IP)

    • 登录VNC. (vncviewer 192.168.88.48:5901) 密码全部都是:tuan800
    • System -> Preferences -> Network Proxy 选择 Manual proxy configuration,配置代理IP

如何增加服务器

  1. 为抓取服务器配置好环境

    • 现在的机器环境都是好的,因为都是克隆的之前的环境,开机自启动。
  2. 将抓取服务器录入到管理后台

  3. 在cps_selenium项目里面添加rake

    • rake "deal_records:run machine_name='machine_94' username='131xxxxxxx' passwd='xxxx' type='pre'", flock: "deal_records.run.machine_94.5553"
    • machine_name 表示在管理后台添加的机器名,username 表示在淘宝用户名,passwd 表示淘宝用户的密码,type 表示抓取类型。现在的抓取类型多种,在 config/settings.yml 文件中有说明。

代码逻辑


  1. 入口

    • rake: rake deal_records:run machine_name='machine_1' username='' passwd=''
    • 核心逻辑:lib/selenium/deal_records.rb
    • 注:vim lib/selenium/deal_records.rb -> Gblame -> 如果是汪军修改的代码,就是出了问题然后进行修改的.

注:现在可用的代理IP
108.62.142.156:25744
108.62.229.220:25744
142.234.102.205:25744
167.160.114.196:25744
167.160.121.178:25744
173.208.231.145:25744
176.53.124.70:25744
192.255.67.164:25744
192.255.76.174:25744
216.107.140.6:25744
23.19.224.184:25744
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注