ResNet

PaperReading 2017.12

• Motivation

  • problem of vanishing/exploding gradients

  • with the network depth increasing, accuary gets saturated and then degrades rapidly.

• shortcut connections

  • the dimension must be equal, if not, linear projection

• plain network

  the normal neural network

• residual network

  based on the plain network, we insert shortcut connections.

• Note

  单从一个典型的residual　block的角度出发，最后的输出相当于综合了一层卷积的效果和三层卷积的效果，这个block是不是可以看做一个单元?
  我们期望从这个单元中得到的信息其实就是一层卷积和三层卷积的综合效果，这也在一定程度上保留了更多特征。
  这种做法也增大了网络的输出值，使得梯度消失的问题得到一定的解决。