arXiv cs.LG· Eliezer Shlomi, Eliron Rahimi, Avi Mendelson, Chaim Baskin·· 15 天前AI 评分42
SPOT：通过提交顺序预测增强扩散语言模型的投机解码
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
研究者提出面向扩散语言模型（DLM）的投机解码方法 SPOT，利用仅 0.62M 参数的模型预测位置提交顺序并构建候选树以实现加速。配合耦合噪声匹配验证机制，SPOT 在任意温度下支持树状投机，使目标模型计算 pass 减少最高 6.8x，吞吐量提升高达 3.2x。实验显示其在 T=0 与 T=1 下均优于现有基准，且起草模型可成功迁移至 6 种不同 DLM。
来源：arXiv cs.LG · arxiv.org