[关闭]
@nearby 2018-02-20T10:22:23.000000Z 字数 331 阅读 1018

反向传播(一)

CS231N

Computational Graph

为了能理解梯度在神经网络中是如何体现作用的（如何构建神经网络），引入了计算图的概念。简单地说，计算图是把函数公式转换成由各个门（乘法/加法/减法/最大门）一层层构成的结构图。
image.png

使用计算图理解神经网络，重要的是正向和反向计算。正向计算——损失函数，反向计算——梯度，二者耗费的时间基本一样，反向计算会慢一些。
image.png
上图中，绿色部分为正向计算，红色部分为反向计算。损失函数对结点的梯度=反向时对上一个结点的梯度*上一个结点对当前结点的局部梯度值。（链式法则）

image.png

如果反向计算中存在分支，则将多个分支进行相加运算。
image.png

反向传播的代码实现上，首先初始化各个输入的值（计算时需要带入输入的值），接着分别实现前向计算和反向计算。
image.png

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注