arXiv cs.LG· Aref Jafari, Vansh Bhatia, Matt Qin, Subhajit Dutta Chowdhury, Ben Lee, Vikram Appia, Ali Ghodsi, Mehdi Rezagholizadeh·· 18 天前AI 评分44
长上下文投机采样无需长上下文草稿模型
Long-Context Drafting Does Not Require Long-Context Drafters
AI 导读
研究表明投机采样在超长上下文中无需训练长上下文草稿模型，冻结现有的短上下文草稿模型即可运行至 200 万 token。该方法通过在推理时限制草稿模型的注意力缓存并重置旋转位置编码索引，无需改动模型权重。测试涵盖 3 组目标与草稿模型对及 5 个语料库，单一 vLLM 配置即可跨越 4k 至 200 万 token 且保持短上下文下的加速比。
来源：arXiv cs.LG · arxiv.org