神经网络和深度学习笔记 第三章 浅层神经网络

• 点击查看目录与导航
• DeepLearning.ai 系列课程第一部分
• https://mooc.study.163.com/course/2001281002
• @Catpub

3.1 神经网络概览

• $a^{[i]}$ 表示第 $i$ 层神经网络相关的数据
• $a^{(i)}$ 表示第 $i$ 个数据

3.2 神经网络表示

• 每一个节点有两个步骤，先用线性方程把前一层的多个激励值 $x$ 变为一个参数 $z$，然后用一个函数 $\sigma(z)$ 得到最终的值 $a$，也就是下一层的激励值

3.3 计算神经网络的输出

• 使用矩阵进行运算可以同时得到每一个节点的结果

3.4 多个样本中的向量化

• 与上一章类似，使用矩阵可以不必使用循环来遍历样本，只需要进行一次即可

3.5 向量化实现的解释

• 解释了为什么使用矩阵是对的

3.6 激活函数(Activation functions)

• 之前使用的 $\sigma$ 就是一个激活函数

• 不同层的激活函数可能不同

• ReLU 函数

  • $A = max(0, Z)$

• Leaky ReLU 函数

  • $A = max(0.01Z, Z)$

• 为什么使用 ReLU 函数？

  • 转载自 https://www.zhihu.com/question/29021768/answer/43488153
  • 第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
  • 第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成*信息丢失，从而无法完成深层网络的训练
  • 第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。

3.7 为什么需要非线性激活函数？

• 如果不用激励函数，在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合
• 详见本文末尾的补充

3.8 激活函数的导数

• $\sigma'=a(1-a)$
• $tanh'=1-a^2$
• $ReLU'=$ z<0 ? 0 : 1
• $Leaky ReLU'=$ z<0 ? 0.001 : 1

3.9 神经网络的梯度下降

• 使用后向传播(Back Propagation)即可，和上一章类似

2.10 直观理解后向传播(Back Propagation)

• 不难，略过

3.11 随机初始化

• 如果不使用随机初始化，每一个节点的参数会完全相同，则神经网络没有意义
• 以二分类问题为例，$w$ 可以初始化为
  
  • w1=np.randn.randn((2,2)) * 0.01
  • 后面的 $0.01$ 是因为 $\sigma$ 函数只有在接近 $0$ 的时候导数才比较明显，所以初始化的时候让参数小一点
  • 在本例子中，如果对 $w$ 进行随机初始化，则 $b$ 不再需要随机初始化

3.99 作者补充

• 建立神经网络的步骤

  • 定义神经网络的结构（比如输入的单元，隐藏层的单元等等）
  • 初始化模型的参数
  • 循环：
  • 应用前向传播计算损失值
  • 应用后向传播计算梯度
  • 更新参数

• 关于激活函数的解释

• 普适近似理论（universal approximation theorem）表明，带有线性输出层和至少一层带有“挤压”性质的激活函数的隐含层的前馈神经网络，在隐含层具有足够神经元数的情况下，可以以任意精度近似任何一个从有限空间到另一个有限空间映射的Borel可测函数（定义在有界闭集上的任意连续函数是Borel可测的）

  所以，要想网络获得普适近似器的性质，一个必须点是“要有带有“挤压”性质的激活函数”。这里的“挤压”性质是因为早期对神经网络的研究用的是sigmoid类函数，所以对其数学性质的研究也主要基于这一类性质：将输入数值范围挤压到一定的输出数值范围（后来发现，其他性质的激活函数也可以使得网络具有普适近似器的性质，如ReLU ）

  作者：Aewil Zheng

  链接：https://www.zhihu.com/question/29021768/answer/109003954