反向传播（二）& 神经网络

CS231N

上一节反向传播（一）中提及了通过反向计算损失函数对输入结点的梯度，如果输入不是一个样本，而是由很多样本构成的向量时，计算图如下：

这时的局部梯度是一个“雅可比（Jacobian Matrix）矩阵”（z对x的一阶偏导数构成的矩阵，向量z对向量x逐元素求偏导）

神经网络

先不考虑此处神经网络与人脑中神经网络的类比关系，可以把神经网络看成是多个线性或非线性函数的串联，每一个函数作为神经网络的一个隐含层。

将神经网络与人脑中神经网络做类比，输入一个信号$x_0$,权重$w_0$为突触，圆圈部分表示细胞体。

常用的激活函数有以下几种

• Sigmoid $\sigma (x)=\frac{1}{1+e^{-x}}$
  
  Sigmoid激活函数一般用于最后的输出层 图来自于blog
• tannh
  
  图来自于blog
• ReLU(Rectified Linear Units)

神经网络参数与模型效果的关系：
（1）越多的神经元（隐含层）意味着更强的计算能力，不过层数也不宜过大，否则可能出现过拟合的现象。
（2）正则化参数$\lambda$，由大到小调试，该值减小时，效果可能明显增强。