Transformer，看得见的解释

01 整体流水线：一句话怎么变成下一个词

先看全景。Transformer 不是魔法，它是一条流水线：文字进去，每一站都对它做一点确定的数学运算，最后吐出「下一个词」的概率。

下面这张图把整条流水线画了出来。别急着看懂每一站——先点 下一步，让数据一站一站地往前流，每一步右下角会告诉你这一站在干什么。后面每个零件我们都会单独拆开。

02 词嵌入：含义是空间里的「方向」

流水线第一站：每个词被换成一长串数字，几百到上万个。把这串数字想成高维空间里的一个箭头——一个方向。

神奇之处在于：训练之后，含义相近的词，方向也相近。「猫」和「狗」挨得近，「国王」减去「男人」再加上「女人」，竟然会落在「女王」附近。模型并不知道字典，它只是把意义编码成了几何。

下面是把高维压到二维的示意。把鼠标移到任意词上（手机上点一下），看它和谁是「邻居」——连线越亮，方向越接近。

03 位置编码：让模型知道谁先谁后

这里有个麻烦：Transformer 为了能并行，是一次性看到所有词的，它本身分不清「狗咬人」和「人咬狗」——因为词的集合一模一样。

解法很巧：给每一个位置事先准备好一串固定的数字（一个向量），叫做位置编码。第 1 个位置一串、第 2 个位置另一串……这串数字只由「第几个」决定，和是什么词无关。把它加到词向量上，「人」在第 1 位和在第 3 位，得到的向量就不一样了，模型于是「感觉」得到顺序。

下图每一列从上到下是：词 ＋ 该位置的编码 ＝ 模型真正看到的向量。中间那排小柱子就是位置编码——每根柱子是向量里的一个数（正值朝上、青色；负值朝下、粉色）。点 打乱顺序：词会换位，但每个槽位的编码柱子纹丝不动，所以词一旦换了位置，加出来的结果就变了。这就是模型区分语序的全部秘密。

04 注意力机制：每个词在「看」谁？

这是 Transformer 的心脏。一个词的含义往往依赖别的词：「它」指谁？「苹果」是水果还是公司？注意力机制让每个词主动去看一眼其他词，按相关度把信息搬过来。

下面这句话里，点任意一个词，从它射出的连线就是它的「注意力」——线越粗、越亮，说明它越关注那个词。注意「它」会强烈地指向它真正指代的对象。

05 QKV：注意力到底在算什么

上一张图的连线是怎么算出来的？靠三个角色：查询 Query、键 Key、值 Value。一个老掉牙但极好用的比喻——查资料。

每个词都生成自己的 Q、K、V（由三个权重矩阵乘出来）。某个词的 Query 去和所有词的 Key 做点积——点积越大越「匹配」，匹配度经 softmax 变成权重，再用这些权重去加权所有词的 Value。下面把这个过程逐步拆开播放。

06 多头注意力：几十双眼睛，各看一处

一种关注还不够。一句话里，语法关系、指代关系、修饰关系……要同时捕捉。于是 Transformer 并排放很多个注意力，每个叫一个头（head），各自学会关注一种模式。

下面切换不同的「头」：同样一句话，不同的头连出的关注完全不同——有的盯着主谓，有的盯着形容词修饰谁。它们的结果最后被拼接、融合。

07 堆叠与残差：为什么要叠几十层

一层注意力 + 一层前馈网络，组成一个「块」。Transformer 把这种块叠几十次。含义就像被一轮轮抛光：第一层也许只搞清楚语法，越往上越能整合出抽象、全局的意义。

关键在于每个块不是「重写」向量，而是在原向量上「加一笔修改」：

点 加一层 看向量被逐层精炼；再点 关闭残差 对比——没有旁路时，每层都强行重写，信号会一层层糊掉、衰减，这就是深层网络「学不动」的样子。

08 长上下文的代价：注意力为什么是「平方级」

一个常被问到的问题：上下文很长时，QKV 要把每个词都算一遍吗？要——而且这正是长上下文又慢又贵的根本原因。

生成 Q/K/V 本身很便宜：每个词各自乘三个矩阵，n 个词就是 n 次，线性增长。真正的开销在「两两匹配」：每个词的 Query 要和所有词的 Key 做点积（图 4 里那一束连线）。n 个词就是 n × n 个点积——这就是著名的 O(n²) 平方瓶颈。拖下面的滑块感受一下它涨得有多快：