arXiv cs.LG· Yuxiao Chen, Changxiao Cai·· 6 天前AI 评分39
Packed-SS：基于扩散草稿的单调用自推测解码机制
One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
AI 导读
Packed-SS 提出了一种自推测解码调度机制，通过让扩散起草器提前一步运行，在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别，且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明，Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。
来源：arXiv cs.LG · arxiv.org