[论文品读]扩散二象性

[论文品读]扩散二象性

8分钟 ·
播放数50
·
评论数0

[LG] The Diffusion Duality  
S S Sahoo, J Deschenaux, A Gokaslan, G Wang, J Chiu, V Kuleshov  
[Cornell Tech & EPFL Lausanne]  
本文通过提出“扩散二象性”理论,揭示了均匀状态离散扩散模型(USDMs)与高斯扩散模型间的深刻联系,并基于此设计了Duo框架,通过创新的课程学习和离散一致性蒸馏技术,显著提升了USDMs的训练和采样效率,使其在快速文本生成方面展现出与主流模型竞争的潜力,特别是在少步生成和某些零样本指标上取得了反直觉的优异成果。
arxiv.org