跳到正文
原文
arXiv cs.AI· Yuyang Dai, Yushun Dong·· 27 天前AI 评分37

轨迹检索投机解码:模型自身历史何时能提供帮助?

Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?

AI 导读

研究针对长思维链推理提出轨迹局部自适应检索方法(TLAR),通过检索自身生成轨迹中的历史内容来辅助投机解码。TLAR 从当前轨迹提取近似匹配片段,结合近期验证结果自适应调节检索与候选宽度,并通过严格验证保持目标模型输出分布不变。在代码调试、数学和开放写作测试中,结合 TLAR 显著提升了 token 接受率与端到端吞吐量。

来源:arXiv cs.AI · arxiv.org