ml/nn/ResNet.md

ResNet 详解

背景简介

深度网络随着层数不断加深,可能会引起梯度消失/梯度爆炸的问题:

1. “梯度消失”：指的是即当梯度（小于1.0）在被反向传播到前面的层时，重复的相乘可能会使梯度变得无限小。
2. “梯度爆炸”：指的是即当梯度（大于1.0）在被反向传播到前面的层时，重复的相乘可能会使梯度变得非常大甚至无限大导致溢出。

随着网络深度的不断增加，常常会出现以下两个问题:

1. 长时间训练但是网络收敛变得非常困难甚至不收敛
2. 网络性能会逐渐趋于饱和，甚至还会开始下降，可以观察到下图中56层的误差比20层的更多，故这种现象并不是由于过拟合造成的。 这种现象称为深度网络的退化问题。

ResNet深度残差网络，成功解决了此类问题，使得即使在网络层数很深(甚至在1000多层)的情况下，网络依然可以得到很好的性能与效 率。

参差网络

ResNet引入残差网络结构（residual network），即在输入与输出之间（称为堆积层）引入一个前向反馈的shortcut connection，这有 点类似与电路中的“短路”，也是文中提到identity mapping（恒等映射y=x）。原来的网络是学习输入到输出的映射H(x)，而残差网络学 习的是 F(x)=H(x)−x $$。残差学习的结构如下图所示：

另外我们可以从数学的角度来分析这个问题，首先残差单元可以表示为：

y_l=h(x_l) + F(x_l, W-l) \\
x_{l+1} = f(y_l)

其中 x_{l} 和 x_{l+1} 分别表示的是第 l 个残差单元的输入和输出，注意每个残差单元一般包含多层结构。 F 是残差函 数，表示学习到的残差，而h表示恒等映射， f 是ReLU激活函数。基于上式，我们求得从浅层 l 到深层 L 的学习特征为:

 x_L = x_l + \sum_{i=l}^{L-1} F(x_i, W_i)  

利用链式规则，可以求得反向过程的梯度：

\frac{\alpha{loss}}{\alpha{x_l}} = \frac{\alpha{loss}}{\alpha{x_L}} * \frac{\alpha{x_L}}{\alpha{x_l}}
= \frac{\alpha{loss}}{\alpha{x_L}} * (1 + \frac{\alpha}{\alpha{x_L}} \sum_{i=l}^{L-1} F(x_i, W_i) )

式子的第一个因子表示的损失函数到达 L 的梯度，小括号中的1表明短路机制可以无损地传播梯度，而另外一项残差梯度则需要经过带 有weights的层，梯度不是直接传递过来的。残差梯度不会那么巧全为-1，而且就算其比较小，有1的存在也不会导致梯度消失。所以残 差学习会更容易。

实线、虚线就是为了区分这两种情况的:

1. 实线的Connection部分，表示通道相同，如上图的第一个粉色矩形和第三个粉色矩形，都是3x3x64的特征图，由于通道相同，所以采 用计算方式为 H(x)=F(x)+x
2. 虚线的的Connection部分，表示通道不同，如上图的第一个绿色矩形和第三个绿色矩形，分别是3x3x64和3x3x128的特征图，通道不 同，采用的计算方式为 H(x)=F(x)+Wx $$，其中W是卷积操作，用来调整x维度的。

残差学习的本质

残差网络的确解决了退化的问题，在训练集和校验集上，都证明了的更深的网络错误率越小:

下面是resnet的成绩单, 在imagenet2015夺得冠军: