在线填写简历

未分类

（1）独立开发了一个面向小规模标注的图像分类库，助力游戏资讯内容推荐相关业务；
支持MultiClass和MultiLabel两种分类范式，在预测时，根据数据特点，提供多种分类策略；
通过优化网络结构，缓解了使用小规模标注数据训练时面临的过拟合问题；
在掌上英雄联盟数据（Multi-Label分类）上，取得80.1%的精确匹配率（Exact Match Rate），在王者荣耀数据（Multi-Class分类）上，取得88%的准确率，均满足业务方需求；
对代码做了完整的单元测试，并封装成库对外发布。
（2）在数据挖掘应用中心的实时系统上，打通深度学习模型预测服务的流程；
在Linux中，借助Docker、Bazel等工具，将TensorFlow源码编译成动态链接库，以供TensorFlow Go API调用，在此过程中，解决了公司网络访问受限、软件版本不兼容等一系列问题；
深度学习模型的计算速度较慢，为缓解该问题，在编译时加入CPU扩展指令集（AVX2）优化，使用Inception网络进行测试，优化后预测速度提高一倍（267s/10^4 pictures -> 127s/10^4 pictures）；
利用TensorFlow Go API，实现数据预处理、加载模型、预测的流程。

输入为一个可能存在语法错误的句子，需要自动纠正其中的语法错误，在方法上将其抽象为机器翻译任务，即把一个“坏”句子翻译成“好”句子；
堆叠多层CNN作为基本的encoder-decoder模型；
融合字符N-gram信息，使用预训练词向量初始化Embeddings，并用BPE缓解OOV问题；
训练多个网络模型，在解码时进行集成；
借助外部语言模型，并引入编辑距离等特征，对beam-search解码出的若干候选句子使用对数线性框架进行重排序；
使用fairseq搭建网络，使用Moses在验证集上tuning重排序时各特征的权重；
在两个benchmark数据集（CoNLL-2014、JFLEG）上，取得接近state-of-the-art的结果；
下一步将使用Teacher-Student Framework知识蒸馏框架改进模型，移除重排序组件，提升端到端纠错性能；
此外，将考虑迁移low resource MT中的方法，如数据增强，放大纠正部分对应的误差信号，引导模型学习。

受知识蒸馏思想的启发，针对部分NLP任务训练语料不足的问题，调研融合先验知识的网络训练方法；
结合Teacher-Student Framework知识蒸馏框架和Posterior Regularization原则，将语言知识“蒸馏”到网络的参数中；
使用概率软逻辑表达语言规则，根据对规则的满足程度调整Student网络的输出分布，得到Teacher网络的分布；
计算Student网络和Teacher网络两者输出分布的距离，将其加入到Student网络的损失函数中；
选择SST2数据集，进行情感分析任务，在测试集上，相比TextCNN的结果（88.1%），Teacher网络和Student网络的准确率分别提升至89.5%和89.1%，错误分析结果表明，语言知识被有效融入到Student网络参数中。