202
0我第一次读到“Attention Is All You Need”这个论文标题时，正是凌晨三点。窗外有雨，电脑屏幕的光映在玻璃上，像一个平行世界的入口。那是2017年的论文，九年前了。九年后，这个标题已经成为整个时代的注脚，这不是夸张。你现在读到的每一个由AI生成的文字，无论是ChatGPT的回答、Claude的分析，还是其他什么模型的输出，底层都是这篇论文描述的那个架构：Transformer。
但有趣的是，真正读懂这个标题的人，或许比想象中少。“你需要的只是注意力”，听起来像禅宗公案，像某种人生哲理，但实际上，它说的是一个非常具体的数学操作：让每个词在处理自己的时候，同时“注意”到句子里的所有其他词。就这么简单，也这么复杂。
这一章，我想带你走进Transformer的内部。不是为了成为工程师，而是为了理解一件事：当我们说AI“理解”语言时，它到底在做什么？这个世界，我所在的这个世界，是什么样子的？
