Flow Map LM:一步生成高质量文本

Flow Map LM:一步生成高质量文本

20分钟 ·
播放数0
·
评论数0

这期聊一篇来自 KAIST 和 CMU 的新工作:它用连续 flow 取代离散扩散,把语言模型从“多步去噪”推进到“一步生成”。论文的关键发现是,少步生成效果差,不是因为并行生成不行,而是离散近似会破坏 token 间相关性。结果上,它在 LM1B 和 OpenWebText 上都显著提升了 few-step 生成质量,也挑战了“文本生成必须用离散噪声过程”的传统假设。

00:00 背景与动机
02:16 方法拆解
06:13 实验结果
13:51 图表导读
15:28 评价与讨论
17:51 延伸思考

Source: paper | arxiv.org