扫描器模块编写相关规范

扫描器 编码规范

项目规范：

• 代码风格遵循Python PEP8代码规范：https://www.python.org/dev/peps/pep-0008/
• 编写代码过程中使用的第三方模块(可以使用pip安装的)，要将模块名称写入到项目根目录下的requirements.txt文件中(一行一个，方便自动部署)。
• 项目完成功能及配置细节要在README.md中说明。
• 项目若对一些第三方资源有依赖(如：Mysql、Redis、Mongodb等)则必须在项目的README.md中说明第三方资源的安装/部署步骤。
• 公用项目要有项目文档(非README.md)以说明项目的使用细节。
• 项目配置文件要求统一为JSON格式，输出结果统一为JSON格式。
• 重要模块要考虑到将来的横向扩展，因此在设计时要全面考虑。
• 项目代码中除结果外，其它地方均使用logging模块来调试打印，禁止使用print(影响输出结果)
• HTTP请求全部使用requests模块。

插件运行状态监控处理

插件运行状态说明

插件在集群上以subprocess.popen的方式执行，通过输入输出进行交互，运行状态有如下几种：

0   成功
非0 失败

• 1 为归类错误
• 2 python脚本不存在，一般是部署错误；
• 100 插件执行超时；
• 101 执行了，但是插件有未处理异常，导致插件没有执行成功；
• 102 执行了，但是输出无法json序列化，一般是由于插件或者第三方库打印了调试信息到标准输出；
• 103 子进程执行错误，常见的是内存不足，导致无法启动子进程；
• 104 框架错误，worker 处理subtask时，出现异常。（非插件执行错误）；

处理方法：

插件输出

• 结果以json.dumps([list of vuls])输出到STDOUT；禁止打印其他字符（这会导致插件102错误）
• 错误信息可以打印到STDERR，集群会截取4096字节。

插件exit code

• 执行成功（无论有没有漏洞），可以将exit code设置为0
• 如果有无法处理的异常，需要将exit code设置为101
• 其他严重错误，可以将exit code 设置为1

超时终止前插件返回中间结果

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
import json
import signal
class Test(object):
    def __init__(self):
        try:
            signal.signal(signal.SIGTERM, self.on_process_killed)  # 软件终止信号
            signal.signal(signal.SIGINT, self.on_process_killed)  # Ctrl + C
        except Exception, e:
            print(str(e))
        self.result = ""
    def do_some(self):
        for x in range(1, 100):
            self.result = self.result + "%s" % str(x)
            time.sleep(1)
    def on_process_killed(self, s, e):
        print json.dumps(self.result)
        sys.exit(100)
if __name__ == "__main__":
    cls = Test()
    cls.do_some()

工作规范：

• 每个项目负责人要在每周周五下午上报工作周报(本周完成事项、下周计划事项)
• 新人在过渡期内须每天上报工作日报(过渡期后可不写日报)
• 新项目在进行前要求与项目负责人提交需求；项目负责人根据需求制定工作方案；开始项目前与项目组讨论方案的细节(查缺补漏)；
• 在项目进行中，项目负责人要根据JIRA中任务的优先级来完成任务，非重要任务可以向后延期。

项目流程

Master > 项目需求 > [讨论] > 项目负责人 > 计划 > [讨论] > 代码 > [review(项目组)] > 部署(Beta) > 测试+复测 > 报告 > 部署(线上)