arXiv cs.LG· Sai Sreenivas Chintha, Chidera Biringa, Rishab Sharma, Anusha Agrawal, Prachi Badarayani, Gemma Zhang, Nigel Boachie Kumankumah, Marco Ayala, Sulaiman Vesal·· 15 天前AI 评分34
CADENCE：通过自适应预测长度提升大语言模型解码吞吐量
Next Token or Vector? Learning How Far to Decode
AI 导读
研究人员提出名为 CADENCE 的上下文自适应解码方法，通过高斯预测头将未来片段表示为连续潜在向量，并利用可学习路由动态选择预测长度，实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中，该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。
来源：arXiv cs.LG · arxiv.org