arXiv cs.LG· Yifan Yu, Yuqing Jian, Jisen Li, Yuezhou Hu, Tianyi Zhang, Xiaoxia Wu, Rui-Jie Zhu, Junxiong Wang, Zhongzhu Zhou, Fan Lai, James Zou, Chenfeng Xu·· 18 天前AI 评分47
扩散语言模型的策略内残差学习框架 ORL
On-Policy Residual Learning for Diffusion Language Models
AI 导读
研究者提出扩散语言模型策略内残差学习框架 ORL，通过在去噪轨迹中即时学习并引入熵收缩目标，结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上，ORL 使每次前向传播生成 token 数提升高达 6.2x，配合 dlmrt 引擎端到端吞吐提升约 6.9x。
来源：arXiv cs.LG · arxiv.org