[关闭]
@Belinda 2017-12-05T08:58:28.000000Z 字数 6132 阅读 1352

quick start

爬虫项目原理：通过用户账号信息授权登录或则用户扫码登录，在 box.exe 里模拟用户登录需要爬取的网站，例如京东网站。现爬取用户信息有两种方案，一、用选择器获取到需要的 dom 元素，通过text()获取节点用户信息。二、如果需要爬取的网站没有做反扒机制，我们可以通过直接 ajax 相应的接口，直接拿到 json 格式的数据

克隆你需要的项目

首先你需要注册阿里 code 的账号，将账号告知付老板开通拉取代码的权限，开通权限之后你需要克隆3个项目的代码，分别是：

  1. git clone git@code.aliyun.com:mdatabox/boxvisitors.git
  2. git clone git@code.aliyun.com:mdatabox/boxserver.git
  3. git clone git@code.aliyun.com:mdatabox/boxbrowser.git

开发前准备工作

  1. 如果你的开发环境是 window 系统，那无需在意，但是如果是其他系统的话需要专注这条信息：boxbrowser 项目只能在 window 环境下运行，所以你需要装个 window 虚拟机
  2. boxserver 需要安装 npm 包依赖，clone 项目之后，需要执行 npm install 命令，如果安装过程比较慢的话，你可以把你的安装镜像切换到阿里镜像
  3. 通过 npm start 启动 boxserver 项目， 访问地址 http://localhost:3000/，账号密码请找管理员要
  4. 点击右边的 admin 访问管理平台（记得将访问地址改为:http://127.0.0.1:3000/admin.html?online_token=915f8dd66d352214341570443ddfc51c#/zh-CN/manage/task ，现在是写死的 5000 端口），创建属于你自己的私有 agent 账号 和 worker 账号，例如 agent_bbt ,worker_bbt
  5. 切回到 http://localhost:3000/ 账号，用私有的 agent 账号登录,例如:agent_bbt
  6. 安装数据库工具 Studio.3T ，开发过程中需要将抓取中的数据存入数据库
  7. 点击 box.exe 启动 boxbrowser 项目, 用刚添加的私有 worker 账号登录,例如:worker_bbt
  8. 打开 boxvisitors 项目，你就可以开始愉快的写代码了

开启的撸码旅程

  1. 打开数据库工具，启用 3001 端口链接，找到 meteor 库的 users 表，找到之前创建的 agent 账号 和 worker 账号，例如：agent_bbt ,worker_bbt ，在 kinds 字段里添加爬虫任务类型，例如 jd (代表京东爬虫)
  2. 在 boxvisitors 目录下新建爬虫脚本，例如 jd.js
  3. 按照默认的爬虫脚本结构初始化你的脚本例如
  1. //boxit.visitors 后面跟的属性要和你在数据库里添加的 kinds 字段一致
  2. boxit.visitors.jd = (function () {
  3.     // 在这里写爬虫逻辑
  5.     // 当页面的 url 路径变化会触发这个函数
  6.     function on_task_updated(task, updates) {}
  8.     // 输入账户信息，点击登录按钮的一刻触发
  9.     function prepare_input(task, updates, fname) {}
  11.     //  输入账户信息，点击登录按钮的一刻触发
  12.     function finish_input(task, updates) {}
  14.     // 完成爬取任务，box.exe 关闭的时候触发
  15.     function on_finish(task) {}
  17.     return {
  18.         url: 'https://passport.jd.com/uc/login?redirectURL=https%3A%2F%2Fhome.jd.com', // box.exe 初始化访问的界面，一般是登录界面
  19.         on_task_updated: on_task_updated,
  20.         prepare_input: prepare_input,
  21.         finish_input: finish_input,
  22.         on_finish: on_finish,
  23.         init: {
  24.           message: '登陆京东官网......',
  25.           hints: [] //用户界面初始化展示组件内容
  26.         }
  27.       }
  29. })();

调试方式

  1. external.toFile 用于将数据写入 本地文件，便于调试
  2. external.postUTF8 用于将数据写入到数据库内
  3. enhanced.logTo 用于写入日志
  1. 做好以上准备工作之后，你可以访问你的爬虫脚本地址了，例如: http://localhost:3000/client.html#kind=jd&agent=agent_bbt&name=%E7%99%BD%E9%9C%B8%E5%A4%A9&id_no=330326199310286428&mobile=18969901450&sms_code=000000&qr=true,kind 为爬虫脚本爬取的类型，qr为布尔值，表示是否使用二维码登录，其他参数为用户个人信息，这个连接可以避免反复手动输入用户个人信息（姓名，身份证，手机号，短信验证码），你也可以访问 http://localhost:3000/client.html#kind=jd&agent=agent_bbt&qr=true 这个地址
  2. 在 boxbrowser 目录里面，scripts 目录里存放了 项目中使用到的工具函数库，以及爬虫的脚本 visitors, 每次你在 boxvisitors 项目里更新了你的爬虫代码之后，你需要手动删除 boxbrowser 这个目录里的文件，否则调试的时候代码不会更新
  3. 在 boxbrowser 目录里面 ，log 目录用于存放日志， data 目录用于存放临时数据，开发调试的时候可以把抓取到的数据暂存在这里，便于调试

技能补充

初始化配置对象中的可配置项

url : boxbrowser在执行该visitor脚本时直接访问的url，也就是数据源网站的初始页面的url，一般为登陆页。

cookie_path:类型为一个直接返回字符串的函数。该字符串相当于cookieId，用于区分cookie，相同cookieId的页面会共用cookie。在boxbrowser的根目录下有对应的cookies目录，该目录下可根据cookieId找到对应的cookie。

ua: 用于配置请求头中的user-agent字段，配置之后boxbrowser中发起的http请求中的user-agent字段都会为该值。

reusable: 布尔值。设置该visitor是否复用。是否复用的含义是，该visitor执行完一个任务之后，不会关闭boxbrowser，在新的相同类型的task进来之后会续用当前boxbrowser。一般在某个数据源的初始化流程比较长的时候设置为true，比如支付宝数据源会经过非常多的重定向才会到登录页并且加载比较多的静态资源，此时就可以将reusable设置为true。在复用的情况下，一般需要在每次任务执行完毕之后将boxbrowser跳转到某个初始页面。

singleton: 布尔值。限定当前boxbrowser是否只能运行当前这个visitor，设置为true时，当该visitor脚本被执行时，会直接杀死其他的visitor进程，并阻止其他的visitor加入，慎用。

init: 关于task对象的初始化设置，之后会合并到原始的task对象中。一般会在该对象中设置初始的提示语和用户界面显示的初始控件。

hints: task中的hints字段为要显示在用户界面上的控件。一般在visitor代码中的开头部分会将可能要用到的控件列表全部列出来赋到一个变量上，要用到的时候直接在该变量上取即可。比如

  1. boxit.visitors.alipay=(function() {
  2.   var hints = {
  3.     // ...
  4.       'username': { name: 'username' , label: '账号' , placeholder: '邮箱／手机号／淘宝会员名' }
  5.     , 'password': { name: 'password' , label: '密码' }
  6.     , 'smscode' : { name: 'smscode'  , label: '短信验证码'}
  7.     , 'captcha' : { name: 'captcha'  , label: '验证码' }
  8.     , 'qrimage' : { name: 'qrimage'  , label: '' }
  9.     , 'login'   : { name: 'action'   , label: '登陆' }
  10.     , 'next'    : { name: 'action'   , label: '继续'}
  11.     , 'progress': { name: 'action'   , label: '查看进度'}
  12.   };
  13.   // ...
  14. })()

阶段函数

boxbrowser会在任务的不同阶段，调用配置对象中声明的对应的函数，并传入task参数，和updates参数，task参数包含完整的任务信息，updates参数包含task参数与上一个阶段中有差异的字段。阶段函数(prepare_input阶段除外)需要返回一个result也就是该阶段的执行结果，随后这个result会被合并到task中。

on_task_updated: 在boxbrowser的url变化的时候会调用该阶段函数，并传入task和updates参数，一般在该阶段中根据url和task对象做任务的分发。

prepare_input: 当前一个阶段执行完毕而且需要与用户产生交互的行为才能继续进行爬取工作的时候，就需要将返回的result中的event字段定义为WAIT_INPUT，并且设置对应的要在用户界面上显示的控件(hints字段)，在hints字段中相应的也要设置action控件，来让用户使用来结束输入。在用户输入完毕后就会进入该阶段，该阶段会根据定义的hints中的交互控件依次循环调用，进入该阶段后task对象上的inputs属性会被赋值为key(控件名，也就是hints对象中的name字段)value(用户输入的结果，隐私字段会被加密需要调用external.decrypt(val)进行解密)的形式。该阶段会比普通的阶段函数多接收一个参数fname，代表对应的控件名称，此时就可以根据控件名称和对应的值将用户输入赋值到boxbrowser相应的表单元素中，如果需要模拟用户的输入行为，则需要在该阶段中将boxbrowser中的焦点设置在相应的表单控件上，之后返回键盘的类型字符串(在databox-api文档上查找)，之后box程序就会用相应的设备进行模拟键入操作。

finish_input: 在prepare_input的阶段函数全部执行完之后就会进入到该阶段函数。此时应该是用户的输入已经反馈到boxbrowser中了，在这个阶段应该进行登陆或者其他类似的操作。

on_close: 在上一个阶段中爬取工作已经完成并且task中step字段被设置为FINISH时会进入该阶段函数。如果需要做一些日志记录，或者该visitor是可复用的并且需要将url跳转到某个初始的url时，可在该阶段进行。

on_finish: on_close阶段函数执行完就会进入该阶段函数。一般会在该阶段中做一些收尾工作，比如整理数据、将数据从本地文件中读出来存到数据库中等。

任务日志(visitor运行日志)

可以在boxbrowser的根目录中的logs目录中查看日志，其中有一个boxit.log日志，在其中可以查看boxserver的一些日志，比如从服务端获取visitor脚本、任务的启动日期、任务超时日志等一些信息。

运行visitor脚本，在填写完client.html的各参数并运行后，boxserver会自动在url后面加上任务的id，比如

  1. http://server.mdatabox.cn:3000/client.html#kind=weixin&agent=agent_fuyh&visitor=worker_fuyh&task=aMM7FAWi6YmjACqSy

后面的aMM7FAWi6YmjACqSy即为taskId。可根据taskId在logs目录查找相应的任务日志和一些其他信息，比如截取的二维码图片等。在boxbrowser的tasks目录中也可以根据taskId查找到最后一次保存的task的完整信息和updates(相较于上一次的task信息中的变更信息)。

task字段解析: 这里只介绍一些visitor脚本开发人员需要知道的字段，其他一些保留字段就不介绍了。

_id: 任务id。

kind: 任务类型，比如支付宝为alipay。

kid: 标记被爬取的用户的id，也可以理解为用户账号的概念，比如支付宝取支付宝账号，微信取微信账号。

created_at: 任务被创建的时间。

updated_at: 任务被更新的时间。

agent: 运行任务的agent账号。

visitor_id: 运行任务的visitor账号。

device: 运行任务的visitor的设备id。

visitor_ip: visitor的公网ip。

client_ip: 访问client.html的用户的公网ip。

visitor_local_ip: visitor的内网ip。

dport: 分发器(dispatcher)端口。

message: 显示在用户界面上的提示信息。

hints: 显示在用户界面上表单控件。

ip_proxies: box_browser的ip代理池，因为有时候账号异地登陆或者访问网站的boxbrowser的ip和用户扫二维码的设备的ip不同会有问题，所以会需要做ip代理。

client_location: 通过用户设备ip解析出的用户大概所在地区。

opts: 给开发者使用来暂存一些数据的对象，可以通过该对象在不同的阶段函数里面交换数据来实现相应的功能需求。并且在client.html后面附加的参数也会对应到opts对象中。

visitor_url: 当前阶段boxbrowser停留的url。

event: 当前task所触发的事件。

step: 当前task所处的阶段。

inputs: 上面介绍过了，就是用于存储用户输入的表单数据的对象。

errFound: 错误信息。

visitor 代码中可使用的全局对象

因为visitor代码的执行环境就是boxbrowser，所以浏览器中的全局对象都可以使用，不过要注意ie版本的差别。还有一些常用的库被附加在了boxbrowser里，可以在boxbrowser的根目录中的scripts目录中查看(external库除外)，主要有以下类库:

external: 一个十分重要的库，封装了许多和系统交互的api，可以在databox-api.html中查看其文档。

enhanced: 也是一个十分重要的库，封住了比较多的浏览器api和external的api。

jquery: 文档,一个dom操作库。

moment: 文档，对时间进行处理的类库。

underscore: 文档，也是个工具库，非常实用。

json: 针对低版本的ie使用的JSON库。

jsencrypt: 文档，用于加解密。

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注