ResNet

《tensorflow实战》

Highway Network

1. 目标是解决极深的神经网络难以训练的问题
2. 相当于修改了每一层的激活函数，允许保留一定比例的原始输入x
3. 主要通过gating units学习如何控制网络中的信息流，即学习原始信息应保留的比例
4. 理论上允许其训练任意深的网络，其优化方法基本上与网络的深度独立

ResNet

源代码
注意源代码中关于conv2d_same的解释文档中存在一个小错误，即even应该改成odd
1. 与Highway Network类似，允许原始输入信息直接传输到后面的层中。
2. 最初的灵感源于degradation问题，即不断加深神经网络时，准确率会献上升，然后达到饱和，再之后就会下降（不是过拟合所致，因为在训练集上也会如次）
3. ResNet的相当于学习目标变了，即由学习完整的输出$H(x)$变成输出和输入的差别$H(x)-x$，即参差（residual）
4. ResNer在某种程度上解决了传统卷积层或全连接层在信息传递时或多或少存在信息丢失、损耗等问题
5. ResNet V2相比V1，主要区别在于：作者研究发现，前馈和反馈信号可以直接传输，因此skip connection的非线性激活函数（ReLU）可以替换为identify mapping，使得新的参差学习单元比之前更容易训练并泛化性更强.在代码中主要体现在：
- 每一层都使用了BN
- 对输入进行preactivation
6. 研究表明：
- ResNet基本等价如RNN且其效果类似于在多层网络间的集成方法
- 理论上证明了加深网络比加宽网络更有效