EP-25 Diffusion 扩散模型 - AI也可以不用一个字一个字往出写

你有没有注意过，AI 回答问题的时候，答案总是一个字一个字从左往右"蹦"出来的？这不是界面设计，而是今天几乎所有大模型的工作方式- 自回归(auto-regressive) 模型，像一台打字机，一次敲一个键，敲错了也没法回头改。

但人写文章不是这样的。我们会先列提纲，先想好结论，写完了再回头改开头。

这期我们聊一种"不按顺序写字"的大模型：扩散语言模型。它是 Midjourney、Stable Diffusion 这些图像生成工具，现在它搬到了文字上。它能先定结尾再填中间，能写完推理再回头改答案，速度快到每秒上千个词。让我们来聊聊它是什么，它的发展历程，和它与自回归模型的对比吧

本期关键词

扩散模型｜自回归｜掩码扩散｜完形填空｜块扩散｜双向注意力｜DiffusionGemma｜LLaDA｜Mercury｜JEPA｜表示空间｜思维链可监控性

参考资料

学术脉络

• SEDD，离散扩散，ICML 2024 最佳论文：arxiv.org

• MDLM，把文本扩散化简成完形填空：arxiv.org

• Block Diffusion，在自回归与扩散之间插值：arxiv.org

• DiT，扩散模型换上 Transformer 骨架：arxiv.org

• LLaDA，人民大学与蚂蚁集团：arxiv.org

• 数据受限时扩散胜过自回归（CMU）：arxiv.org

模型与产品

• DiffusionGemma 官方博客：blog.google

• DiffusionGemma 透明度研究："3 变 Gold"与"先写答案再改"两个例子都出自这里：arxiv.org

• DiffusionGemma 的解码到底并不并行：arxiv.org

• LLaDA 2.X 系列：github.com