CNN

先说实验。一条长 64 的随机 0/1 序列，每个位置都要答一道题：y[t] = x[t] XOR x[t-24]（前 24 个位置没有过去，答案就是 x[t] 本身）。四个一维因果卷积网络，通道数、优化器、数据全一样，只有接线不同。其中感受野最小的那个训完之后，把每个位置的测试准确率单独画出来，是这样： 红线在 t=24 那里直接断崖。前 24 个位置全对——那段答案就是当前位，谁都会。从 t=24 起，答案开始依赖 24 步之前的那一位，而这个网络的感受野只有 13：往回第 24 位在它的视野外面。视野外的位跟视野内的一切统计独立，所以它能做的最好的事就是抛硬币。0.688 的总准确率也没什么可调的：24/64 × 1.0 + 40/64 × 0.5 = 0.6875，到顶了。 我喜欢这个断崖的地方在于它干净。前几篇的瓶颈都软乎乎的——梯度小了、训练慢了、种子背了——这次是信息论意义上的墙：看不到就是看不到，损失函数上不存在任何下降方向能把那一位变出来。为了确认墙是真的，我做了个更狠的检查：拿一个网络，把输入里恰好在感受野边界外一位的那个 bit 翻转，输出 logit 的变化是精确的 0.0，不是 1e-8，是 0。翻边界内一位的，logit 就动了。 感受野是接线时定死的算术 因果卷积一层的输出是 $$y_t = b + \sum_{j=0}^{k-1} W_j\, x_{t - j\cdot d}$$k 是核宽，d 是 dilation——卷积核的几个 tap 之间隔多远。d=1 是普通卷积，d=2 就是隔一个取一个。每过一层，感受野长 (k-1)·d，整个网络能看多远就是 1 + Σ(k-1)·d，一道小学算术，训练动不了它一毫米。 ...

上一篇留下的问题 上一篇 讲的是 scaling laws——loss 随着参数、数据、算力按 power law 下降。2020 年 Kaplan 把它写成公式之后，大家已经习惯了"模型更大、数据更多、算力更强，结果就会更好"。 但有一个更早的问题：大家为什么会愿意相信这条路？ 今天回头看，这条路像常识。2012 年之前，它一点也不像——深度学习几度陷入寒冬，SVM / boosting 一度是主流。 往回走一步，看 2012 年那场比赛到底发生了什么。 ImageNet 2012 ImageNet 是 Fei-Fei Li 团队搞的图像识别比赛，有 120 万张标注图片，分成 1000 类。2010、2011 两年，最好的系统 top-5 错误率在 25% 上下。这是靠手工设计特征 + SVM 的时代，进步以每年 1-2 个百分点计。 2012 年 9 月，结果出来—— 2010 冠军 2011 冠军 2012 AlexNet 2012 第二名 top-5 错误率 28.2% 25.8% 15.3% 26.2% 领先第二名 10 个百分点。这个分差一出来，大家就知道事情变了。 论文标题：ImageNet Classification with Deep Convolutional Neural Networks。三个作者：Alex Krizhevsky（一作）、Ilya Sutskever、Geoffrey Hinton，都来自多伦多大学。 ...