Sutskever 30 #05：把 RNN 全部扔掉
上一篇留下的线索 上一篇结尾说了一句话：attention 这个配角，后来变成了主角。 Seq2seq + attention 的架构里，LSTM 负责处理序列，attention 负责让 decoder 回头看。两者各司其职。但有一个问题一直没解决——LSTM 是顺序处理的。第 1 个词处理完才能处理第 2 个，第 2 个处理完才能处理第 3 个。 100 个词的句子，要跑 100 步。前一步没算完，后一步就不能开始，所以很难把 GPU 并行用满。 Attention 本身没有这个限制。它一次看所有位置，一次算完所有权重。 2017 年，Vaswani 等人把这个观察推到了极致：把 LSTM 全部去掉，只留 attention。 论文标题：“Attention Is All You Need”。 Self-Attention：自己看自己 上一篇的 attention，是 decoder 回头看 encoder。Query 来自 decoder，Key 和 Value 来自 encoder——两个不同的序列之间在交互。 Transformer 引入了一个新操作：self-attention——一个序列看自己。Query、Key、Value 全部来自同一个输入。每个位置都问所有位置：“你跟我有关系吗？” 为什么要自己看自己？因为理解一个词，需要知道它在句子里的角色。“bank” 是银行还是河岸，取决于周围的词。Self-attention 让每个词都能直接看到句子里所有其他词，一步到位。 核心公式： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$跟上一篇的 Bahdanau attention 本质一样——query 和 key 算匹配度，softmax 变成权重，加权求和 value。但有两个变化： ...