ResNet

#16 结尾我说那根 skip 现在到处都是，每个 Transformer block 里都躺着一个。那篇把它当成一个干净的 +x 用。可它真得是 +x 吗？把它换成 +0.9·x 或者 +1.1·x，差这么一点，按说无所谓。He、Sun 他们 2016 年的后续论文（Identity Mappings）专门为这点较了真，结论是差这一点，深网络就重新训不动了。原因还是那个老问题——你又在沿着深度乘东西了，而 skip 当初就是为了让你别再乘。 给 skip 乘上一个数 干净的残差块是 x ← x + F(x)。一路堆上去，第 l 层到第 L 层之间，主干就是一串加法： $$x_L = x_l + \sum_{i=l}^{L-1} F(x_i)$$反向也就跟着干净。x_l 收到的梯度是 $$\frac{\partial x_L}{\partial x_l} = I + \sum_{i=l}^{L-1}\frac{\partial F(x_i)}{\partial x_l}$$那个 I 就是 #16 里反复说的直通线，梯度原样递回去，不管中间几十层。 现在在 skip 上压个常数 λ，块变成 x ← λ·x + F(x)。把它展开，主干上每过一块就多乘一次 λ，到第 L 层： $$x_L = \lambda^{\,L-l}\, x_l + \cdots$$梯度也一样，x_l 那一项前面挂上了 λ^{L-l}。λ 只要不等于 1，这就是深度的指数。50 层下来，λ=1.1 是 1.1^50 ≈ 117，λ=0.8 是 0.8^50 ≈ 1.4e-5。skip 本来是用那个 I 把连乘掐断的，你给它乘个 0.9，连乘原封不动地回来了。 ...

按说网络越深应该越强。再不济，多出来的层学成恒等映射，整个网络退回浅的，也不该更差。但真把一个普通深网络堆起来，事情是拧着的：过了某个深度，越加层越难训，连训练集都拟合不动，训练误差不降反升。He、Zhang、Ren、Sun 2015 年的 ResNet 针对的就是这个怪现象。 上一篇 #15 的 RMC 我训得挺狼狈，三个随机种子里两个直接塌到瞎猜，当时只甩了句「深层堆叠难训」就糊弄过去了。这篇算把那句话补完——它的解法，残差连接，如今每个 Transformer block 里都躺着一个。 残差块 改动很小。普通一层从头学一个变换，h ← tanh(Wh)；残差块学的是在原来基础上加多少： $$h \leftarrow h + W_2\,\tanh(W_1 h)$$F 没学到有用的东西就退回 0，这层自动成了恒等映射。「至少不会更差」这件事，被写进了结构里。 真正值钱的是反向。梯度经过一个残差块时， $$\frac{\partial y}{\partial x} = I + \frac{\partial F}{\partial x}$$I 那一项把上游梯度原样递回去。哪怕 ∂F/∂x 已经小到忽略不计，梯度也跌不破这个 1。叠几十层，最前面那几层照样收得到信号。普通层没有这一项，它的梯度是几十个雅可比矩阵连乘的结果，乘着乘着就归零了。 在螺旋上跑一遍 我拿三条缠在一起的螺旋臂做二维分类。这任务浅网络随手就解，是我故意挑简单的：这样深网络一旦训不动，锅只能算在优化头上，跟任务难不难没关系。 两个网络宽度相同、权重层数也相同，唯一的区别是那根 skip 线。深度从 2 拉到 48： 深度（权重层数） plain 残差 8 1.000 1.000 16 0.978 1.000 24 0.628 1.000 32 0.520 1.000 48 0.502 1.000 浅的时候两边都满分。plain 过了 16 层开始掉，到 48 层只剩 0.5，离三分类瞎猜的 0.33 没多远了。这是训练准确率——它连自己浅的时候能轻松拟合的那批数据，现在都喂不进去了。残差网络参数一个不差，全程 1.0。 ...