@joshsulin
2015-06-01T07:39:19.000000Z
字数 1507
阅读 609
折800工作交接文档
账号说明:SSH 用户名 root, 密码:5CE36sd36A9g0BDE8A
vnc 端口都为 5901, 密码:tuan800
git 地址:git@git.tuan800-inc.com:ruby/cps_selenium.git
开发分支:master, 因为参与开发人员不多,所以直接就是在master上面开发。
如何进入监控页面
- 连接VPN(ip:121.201.15.200,user:tuan800,password:p8LURuwjzOZk1QVp6E)
- 访问:http://192.168.88.4/machine_zero_pages_info
如何定位哪些抓取服务器有问题
- 最近1小时,最近3小时,最近5小时 抓取的页数都为0,这样的服务器肯定是有问题的
- 其实我认为,只要是最近3小时,最近5小时 抓取的页数都为0,这些服务器都应该进行修复
重启服务器(我一般就这样操作, 十有八九就能解决)
- 这一步己经不需要人工参与了,己实现了自动化了
- 查看机器重启日志, 在项目 项目根目录/log/qing_cloud_restart_machine.log,记录了机器启动日志
更换代理IP(通过设置服务器的IP)
- 登录VNC. (vncviewer 192.168.88.48:5901) 密码全部都是:tuan800
- System -> Preferences -> Network Proxy 选择 Manual proxy configuration,配置代理IP
为抓取服务器配置好环境
- 现在的机器环境都是好的,因为都是克隆的之前的环境,开机自启动。
将抓取服务器录入到管理后台
在cps_selenium项目里面添加rake
- rake "deal_records:run machine_name='machine_94' username='131xxxxxxx' passwd='xxxx' type='pre'", flock: "deal_records.run.machine_94.5553"
- machine_name 表示在管理后台添加的机器名,username 表示在淘宝用户名,passwd 表示淘宝用户的密码,type 表示抓取类型。现在的抓取类型多种,在 config/settings.yml 文件中有说明。
- rake: rake deal_records:run machine_name='machine_1' username='' passwd=''
- 核心逻辑:lib/selenium/deal_records.rb
- 注:vim lib/selenium/deal_records.rb -> Gblame -> 如果是汪军修改的代码,就是出了问题然后进行修改的.