arXiv cs.LG· Hoang Anh Duy Le, Huibing Dong, Alireza Khadem, Ziteng Sun, Xiang Song, Yizheng Huang, Soroush Radpour, Anshumali Shrivastava, Ye He·· 2 小时前AI 评分35
投机解码 Parallel Reconsideration：给草稿模型二次猜测的机会
Give the Drafter a Second Chance to Guess: Parallel Reconsideration for Speculative Decoding
AI 导读
研究提出投机解码机制 Parallel Reconsideration，草稿模型可基于自身不确定性，通过与单次草稿并行的额外前向传递重新猜测犹豫 token，仅增加微小延迟。结合协同训练与服务期起草算法，重新考量的猜测会被作为优化候选追加至原始草稿树。评测显示，该机制相比基线将平均接受长度提升 5.3% 至 10.2%，推理加速比提升 3.5% 至 9.2%。
来源：arXiv cs.LG · arxiv.org