arXiv stat.ML· Yidong Ouyang, Zhengyan Wan, Themis Haris, Tian Tan, Liqian Peng, Henry Li, Ziqian Lin, Jianhang Chen, Maryam Karimzadehgan, Alec Go, George Michailidis·· 2026-10-01AI 评分34
通过离散平均生成元加速扩散语言模型
Acceleration of Diffusion Language Model through Discrete Average Generator
AI 导读
研究人员提出离散平均生成元(Discrete Average Generator),将 MeanFlow 拓展至连续时间马尔可夫链,以加速扩散语言模型的少步数生成。在 OpenWebText 基准上,该方法在 8 至 64 步采样中取得最低的生成困惑度,并实现 16x 加速。此外,该方法在 Potts 模型模拟中将采样器的全变差距离降低最高 67%,并在 ImageNet 上达到可比性能。
来源:arXiv stat.ML · arxiv.org