康德乐项目TODO清单

TODO

导数方案

1. DataHub导数表字段可配置；<岳函提供字段配置>
2. DataHub导数增量数据中可能有更新数据解决方案；<导数到临时表，MYSQL触发器写入业务表>

3. 9.30涉及的导数场景：

   • 初始数据：

     • Oracle -> MySQL(参见930.sql)
       Sysmdm.region 区域表
       Sysmdm.city 县级城市表
       Sysmdm.noise_words 噪词表
       Sysmdm.splitword_replace 分词替换表
       Sysmdm.splitword_towns 省市县分词表
       Sysmdm.splitword_firmkey 固定/等价次
       Sysmdm.skipregionlist 相邻省份配置表，用于跨区销售判断
       Sysmdm.ovalchannelrule 渠道转换表；名称——》渠道类型
       Ovalmdm.saleschannel 销售渠道表
       Ovalmdm.orgalias 机构别名表
       Ovalmdm.orgmergelist 机构合并记录表
       DCMASTER.CATEGORY
       DCMASTER.CATEGORYLANG
       DCMASTER.PRODUCT
       DCMASTER.BUMASTER
       DCMASTER.BUMASTERDETAIL
       DCMASTER.ORGANIZATION
       OVALMDM.OVALMASTER
       DCMASTER.ORGCODECOLLATE
       OVALMDM.PROJECTORG

     • Oracle -> Hive(由王耀辉提供)

   • 增量数据：Oracle -> MYSQL (原始流向数据-产品清洗、主数据/对照数据)

     • DataHub应用界面创建周期任务
       DCMASTER.PRODUCT（可能存在更新数据,导入到PRODUCT_TMP表）
       DCMASTER.BUMASTER（可能存在更新数据,导入到BUMASTER_TMP表）
       DCMASTER.BUMASTERDETAIL（可能存在更新数据,导入到BUMASTERDETAIL_TMP表）
       DCMASTER.ORGANIZATION（可能存在更新数据,导入到ORGANIZATION_TMP表）
       OVALMDM.OVALMASTER（可能存在更新数据，导入到OVALMASTER_TMP表）
       OVALMDM.PROJECTORG（可能存在更新数据，导入到PROJECTORG_TMP表）

       OVALMDM.ORIGINALINVENTORYDATA
       OVALMDM.ORIGINALSALESDATA
       OVALMDM.ORIGINALPURCHASEDATA
       DCMASTER.PRODCOLLATE(姜老师提供视图)
       OVALMDM.ORGNAMECOLLATE

待提供数据清单

待确认问题清单

业务流程

• 产品清洗
  
  • 自动清洗：
    
    1. 定时增量查询 产品流向表（ORIGINALSALESDATA）：datelastupdated字段大于上次查询时间并且prodid字段为空 ----得到待清洗列表
    2. 用产品流向表（ORIGINALSALESDATA）的（DTID+PRODNAME+SPEC+UMNAME）去匹配 产品对照表（PRODCOLLATE）的（DTID+PRODNAME+SPEC+UMNAME）；
       1）：匹配成功，回填 产品对照表（PRODCOLLATE）和产品流向表（ORIGINALSALESDATA）的 prodid字段、<后续需要考虑SPEC+UMNAME字段合入PRONAME字段的匹配>
       产品流向表（ORIGINALSALESDATA）的ISPROCESSED字段（自动清洗成功的标识）？；
       2）：匹配不成功，将产品流向表（ORIGINALSALESDATA）的（PRODNAME+SPEC+UMNAME）字段 再次去和 产品表（PRODUCT）的（PRODNAMECN+SPEC+UMNAMECODE）字段做匹配
       1}：匹配成功，在产品对照表（PRODCOLLATE）中 新增记录、回填 产品流向表（ORIGINALSALESDATA）的prodid字段、更新ISPROCESSED字段（自动清洗成功的标识）
       2}：匹配不成功，产品流向表（ORIGINALSALESDATA）的ISPROCESSED字段更新为（需要人工清洗的标识）
  • 人工清洗：
    
    1. 查询 产品流向表（ORIGINALSALESDATA）的ISPROCESSED 字段， 有人工清洗标识的，得到人工清洗列表；
    2. 用户人工去选择 product（产品表）的prodid和 待人工清洗列表的记录 匹配
    3. 用户点击确认后
       1）：系统标记 产品流向表（ORIGINALSALESDATA）的ISPROCESSED字段（人工清洗完成的标识）；
       2）：更新 产品流向表（ORIGINALSALESDATA）的 prodid 字段；
       3）：产品对照表（PRODCOLLATE）中 新增记录

• 客户清洗

  • 上传清洗数据

    1. 插入poolfile表，
       filetype --M独立新增，N其他药厂
       projectcode --独立新增为oval,其他药厂为字典表dictionary值
       filecode --projectcode+yyyyMMdd
       linenum --有效数据行数，（要根据触发器修正）
       state --初始为0，详情表插入完成改为1，失败改为2，删除为3
    2. 检测上传数据合法性 （主数据库不存在并且状态大于41 参考存储过程collatecheckproce 62行）
    3. 检测通过后将结果写入collcatepool表，修改state，供前端进度条功能。
    4. 将collcatepool去重插入orgnamecollate表待下发AI。

  • AI清洗
    流向规则：orgcode为M码，orgid>100 非流向规则：orgcode为M码，orgid<100
    上传非流向数据，提供sql语句，select * from table（orgnamecollate，需要看存过确认） where id=上传id 给 datahub,
    datahub 保存数据入hive，调我们接口 返回生成hive文件名
    调算法接口，提供hive文件名
    算法回调处理成功，返回新hive文件名
    将新hive数据写进临时表，读取记录，根据id，添加/修改 orgnamecollate ，扩展表/字段，满足detail中, ,ai处理通过，
    定时读流向数据，orgnamecollate, 根据datalastupdatetime, orgcode为M码，orgid>100数据 ，提供sql给datahub，后续逻辑同非流向
    // AI清洗的结果新建一张表维护返回的结果。（AI会返回多条推荐结果，包括分词、置信度等）

  • 构建任务
    1. 读取COLLATECHECKCFG表，新增CHECKCFGEXTEND,记录为：cfgid,field,type,sql记录配置的pvalua1,pvalue2,pvalue3,pvalue4的格式为input/select/date

    1. 新增CFGDICTIONARY ，下拉框sql数据来源
    2. 执行检查
       遍历选中规则，
       将cfgsql中$P1替换为pvalue1$P2替换为pvalue2
       $P3替换为pvalue3$P4替换为pvalue4
       执行cfgsql,获取数据/如果sql有误给出提示
       保存配置
    3. 执行构建
       传入表名，规则将runsql中$cfgsql替换为拼接后sql执行runsql.如果其中有某个规则出错，删除detail表中该任务数据，全部成功才算成功。保存配置如下：
       jobctrl状态：0：未下发，1：清洗中，2：复核中，3：复核完成
       jobdetail状态：1：未处理，2：不需处理，3：待定，4：确认，5：放弃 ，6：二次推荐 ，7：二次放弃
       jobdetail复核状态：0：表示未审核 1：表示审核正确 2：表示审核错误,3：审核暂挂
       构建从orgnamecollate读取数据，写入detail，后续清洗，复合都修改detail字段，（需要看触发器确认回写orgnamecollate逻辑）
       JobDetail表字段
       // 文翔构建任务时插入
       DTCODE - SellerCode 销售方编码
       DTNAME - SellerName 销售方名称
       DTREGIONNAME 经销商省份
       DTCITYNAME 经销商城市
       STDORGCODE - BuyerCode (陆洋/李明客户清洗更新)
       STDORGName - BuyerName
  • 清洗任务
    清洗任务列表：
    查询COLLATEJOBCTRL 表、COLLATEJOBDETAIL 表、COLLATEJOBALLOCATION表、department表、user表，得到清洗任务列表；（---规则：ctrl表status=0---取消该规则）
    注意：（原始机构数量 = 自动清洗+ 人工清洗；直接去ctrl表的SOURCEQTY字段）
    （需人工处理=detail表中status=1）（人工已处理：detail表status in （4,5），已复核：detail中reviewStatus in （1,2）来取）（
    2：（批量）下发：{下发：可以多次下发；第一次下发新增，以后下发则是更新}（只能下发给同级 及 以下级部门--前端和乐乐 协调）
    1}：维护COLLATEJOBALLOCATION关系表（未处理完时，可以重复下发）
    2}：修改ctrl表status状态；（0-->1）
    3：下载
    下载的是任务里面的详情，就是detail；（根据jobid查询COLLATEJOBDETAIL表）
    csv文件，目前下载的是COLLATEJOBDETAIL列表（？模板？）：

  • 人工清洗

    1. 从下发的任务读取JobDetail列表，涉及到2张表COLLATEJOBCTRL和COLLATEJOBDETAIL
       表COLLATEJOBCTRL
       字段：
       JOBID 主键
       STATUS 任务状态

    表COLLATEJOBDETAIL
    字段：
    COLLATEJOBDETAILID 主键
    JOBID 外间关联到表COLLATEJOBCTRL
    DTCODE 经销商代码
    DTNAME 经销商名称
    ORGNAME 客户原始名称
    DTREGIONNAME 经销商省份
    DTCITYNAME 经销商城市
    STATUS 状态 Def=0;0未处理/1待定/2确认/3放弃/4推荐/5二次放弃/6二次推荐

    keyword/region_F 经销商地址
    ORIDTCODE/ORIDTNAME

    1. 放弃／确认 某一个任务后，修改表COLLATEJOBDETAIL的STATUS字段，其中确认操作更新字段:ORIDTCODE(原始经销商编码)和ORIDTNAME(原始经销商名称)，值来源于OVALMASTER表的CAHORGCODE和CAHORGNAME。
       
       • 处理任务：
         0：列表（都能看，但只能点自己所在组的任务）
         查询COLLATEJOBCTRL 表、COLLATEJOBDETAIL 表、COLLATEJOBALLOCATION表、department表、user表，得到列表（规则：ctrl表status=1）
         注意：（需人工处理：detail表中status=1的数量）（待定任务：detail表中status=3的数量）（已处理：detail表中status in (4,5)的数量）
         1：待定任务
         根据 COLLATEJOBDETAIL 表jobid和status=3 字段 和 user表，查询待定任务详情，对应的用户和数量（跟 陆洋 沟通）
         2：完成处理
         修改 COLLATEJOBCTRL 表 status字段（1-->2）和 issubmit字段 (‘N’-->'Y')，同时把对应人工处理的任务详情，插入JOBDOUBLECHECKLIST表
  • 复核
    1：查询COLLATEJOBCTRL 表、COLLATEJOBDETAIL 表、COLLATEJOBALLOCATION表、department表、user表，得到复核列表（标记 处理完成 才能开始复核）
    （规则：ctrl表 status = 2 ）（已确认 包含 ai完全匹配 的记录）
    2：根据 COLLATEJOBDETAIL 表 reviewstatus=0 字段查询 未复核 的任务详情
    确定的，错的，修改映射或标记需新增主数据 --映射时：更新之前的记录
    放弃的，对的，系统自动标记需新增主数据
    放弃的，错的，修改映射或标记需新增主数据 --映射时：新增记录
    3:提交复核时：
    1}：更改reviewstatus状态；
    2}：判断是否复核完毕，完毕的话，需要更改ctrl表status字段（2-->3）
    3}：插入JOBSTATISTICS表记录（何强-对接）
    4｝：插入orgcodecollate表记录
  • 客户清洗-操作历史(需要关联 COLLATEJOBCTRL 和 COLLATEJOBDETAIL 表)
    原始名称 ORGCODECOLLATE.ORGNAME
    标准化名称 ORGCODECOLLATE.STDDTNAME
    清洗人 ORGCODECOLLATE.MAKER
    清洗负责机构 ORGCODECOLLATE.STDDTNAME
    清洗方式 COLLATEJOBDETAIL.STATUS
    复核结果 COLLATEJOBDETAIL.CHECKFLAG
    复核人 COLLATEJOBDETAIL.REVIEWUSERID
    下发人 COLLATEJOBDETAIL.UPDATEDUSERID
    清洗时间 ORGCODECOLLATE.CREATEDATE
    复核完成时间 COLLATEJOBDETAIL.FIRSTEXPTIME