深度学习---历史

deep book

1 神经网络

1. 逆向大脑背后的计算原理，复制其功能
2. 理解大脑和人类智能背后的原理

1 线性模型

1. 一组n个输入 和 一个输出y相关联 通过模型 学习 输入的权重
2. 感知机 + ADALINE（随机梯度下降）基本模型
3. 模型局限性： 无法学习异或函数（XOR）

2 联结主义（connectionism） 并行式分布处理（parallel dietributed processing)

1 分布式表示

1. define 系统的每一个输入都应该由多个特征表示 ；每个特征都应该参与到多个输入的表示

2. 反向传播算法

3. 长短期记忆（LSTM）

3 深度神经网络

2 数据量增长

大规模标注样本的数据集

3 模型规模增长

1. 机器学习模型 神经元连接数量
2. 引入隐藏单元
3. 更快的cpu 通用gpu

4 精度 复杂度的增长