Kaplan

上一篇留下的问题 上一篇讲了 Transformer——一个能并行处理整个序列的架构，没有 RNN 的速度瓶颈。 但 Transformer 本身只是个工具。真正让它成为 GPT-4 这种庞然大物的，是另一个发现：模型越大、数据越多、算力越多，效果就越好——而且好得有规律。 2020 年之前，没人知道这个规律有多准、能延伸多远，也没人知道该怎么"大"——堆参数还是堆数据？花 100 倍的钱能换来多少提升？ Kaplan 等人 2020 年发了一篇论文把这些问题量化了。论文标题：Scaling Laws for Neural Language Models——神经语言模型的 scaling 定律。 一个反直觉的发现 机器学习里大多数曲线有"拐点"——一开始进步快，越往后越慢，最后碰到天花板。直觉上模型也该这样：加到一定大小就饱和了，再加也没用。 Kaplan 实测下来的结果是：在他们测试的范围内，loss 一直在下降，没有看到饱和。而且下降的方式遵循一个非常简单的规律： $$L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}$$翻译过来：loss（$L$）是参数量（$N$）的 power law（幂律）函数。$\alpha_N$ 是一个小指数，大约 0.076。 power law 在数学上有一个好性质——在 log-log 图上是一条直线。Kaplan 团队跑了从一千参数到几亿参数的模型，loss 在 log-log 图上画出来，就是一条几乎完美的直线。 不只是参数。数据量（$D$）和算力（$C$）也都满足类似的 power law。三条曲线，三个不同的指数，但都是一样的形态： 横轴是 log，纵轴也是 log。直线的斜率就是 power law 的指数（带个负号）。这意味着：你想知道 10 倍的算力能带来多少提升？把直线往右延伸看一眼就行。 为什么这是重要的 在 scaling laws 之前，做 AI 模型有点像炼丹——你试一个架构，调参，跑训练，看效果。如果效果不好，你不知道是模型不够大、数据不够多、还是结构本身有问题。 scaling laws 把这种不确定性砍掉了。如果你的模型在小尺度下符合 power law，那你几乎可以预测它在大尺度下的表现。换句话说，你可以用一笔小预算的实验，去推断一笔大预算实验的结果。 ...