《大数据智能》

机器学习 读书笔记

1 深度学习 - 机器大脑的结构

1.1 概述

计算机也是一种参数高度可调的通用工具，其参数就是某个程序的代码。
连接主义：人脑是一个通用机器，脑细胞功能简单固定。可调参数定义了连接强度。
符号主义：人脑是智能是由于符号处理能力。输入是符号性的：离散的变量及其组合。会用到很多逻辑运算。可调参数比较抽象，参数空间由符号的组合来表示。

1.2 从人脑神经元到人工神经元

激活函数：不同激活函数适合不同的具体问题和神经网络参数学习算法。
阶跃函数
sigmod函数：处处可导$g(u)={1\over 1+e^{-u}}$
双曲正切函数：$tanh(u)={1-e^{-2u}\over 1+e^{-2u}}=2g(u)-1$

1.3 参数学习

评价指标：损失函数 $loss(w)=\sum_{i=1}^Nd(y_i^*-y_i)$
梯度下降法：一种迭代方法，任意选择一组参数，然后一步步调整参数使其损失函数变小。可能找不到全局最优解。而在工程中还面临学习参数选择的问题。

1.4 多层前馈网络

向前单向传播，每列神经元构成一层，无跨越多层的连接。
后向传播法计算梯度：链式法则

1.5 逐层预训练

自动编码器：尽量让输出等于输入的单隐含层神经网络。
初始参数采用自动编码方法进行每层训练。

1.6 深度学习是终极神器么

带来了什么

• 强调了数据的抽象
• 强调了特征的自动学习
• 对连接主义的重视

尚未做到什么

• 缺少完善的理论：需要人设计的地方还很多
• 缺少更为宏观的框架

2 知识图谱 - 机器大脑中的知识库

2.1 什么是知识图谱

将字符串理解为实体，找出实体之间的关系。

2.2 知识图谱的构建

大规模知识库：词条为基本组织单位，每个词条对应现实世界的某个概念。
互联网链接数据：以RDF三元组发布
互联网网页文本数据：海量互联网无结构网页中抽取信息
多数据源的知识融合：包含实体融合、关系融合、实例融合，如一体多名，一词多义

2.3 知识图谱的典型应用

• 查询理解
• 自动问答
• 文档表示：经典是空间向量模型，采用词袋假设。用知识实体以及关系表示，利于后续分类、摘要和关键字抽取。

2.4 知识图谱的主要技术

• 实体链接（Entity Linking）：网页中出现的实体链接到其知识库词条中
  
  • 实体识别
  • 实体消歧
• 关系抽取：可能出现语义漂移现象，以及关系归一化问题
• 知识推理
• 知识表示

2.5 前景与挑战