Sutskever 30 #02：猜下一个字符，然后呢？
一个任务 给你一串字符，猜下一个是什么。就这一个任务。 2015 年，Karpathy 拿这个任务训练了一个 RNN。训练完让它自己写，它写出了能编译的 C 代码。没人教它什么是函数、什么是括号——它只是被"猜下一个字符"反复训练，自己学会了这些。他把过程写成了一篇博客，影响力比很多正式 paper 都大。 我们拿最小的版本跑了一遍。 hello world 先看结果。这是我们的模型在第 1800 步生成的文本： rmption is pattornnin eell n levery ywormnearn data hello world helens pis prnters hello world 完整地冒出来了，旁边还是一堆乱七八糟的东西。 这个模型的全部训练数据是 2490 个字符——几句英文短句复制 10 遍。hidden size 64，vanilla RNN，纯 NumPy 手写。它从来不知道 “hello world” 是一个词组。 那它怎么学会的？ 模型每一步对 24 个字符各猜一个概率，加起来是 1。训练数据里有正确答案——比如 h 后面确实跟着 e。一开始模型给 e 的概率很低，可能 4%。 猜错了怎么办？算一个数： $$\text{loss} = -\log(p)$$$p$ 是模型给正确答案的概率。$-\log(0.04) \approx 3.2$，挺疼的。$-\log(0.9) \approx 0.1$，几乎没感觉。概率越低，这个数越大，惩罚越重。 为什么用 $\log$ 而不是更直觉的 $1 - p$？因为 $1 - p$ 是线性的：概率从 50% 降到 40%，惩罚增加 0.1；从 5% 降到 4%，惩罚也只增加 0.01。但模型已经很离谱了（5%）还能更离谱（4%），这种恶化应该更疼才对。$-\log(p)$ 做到了这一点——概率越低，曲线越陡，越错越疼。 ...