arXiv cs.AI· Hengjie Zhu, Dayan Wu, Xinze Liu, Peng Fu, Zheng Lin, Weiping Wang·· 11 小时前AI 评分40
RECAP：基于请求局部与持久化记忆的上下文感知多模态投机解码
RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
AI 导读
RECAP 提出一种无需训练的多模态投机解码方法，通过结合 1 至 3 个 token 键值的请求局部记忆与跨请求持久化记忆来高效复用预测。该方法利用熵置信度加权融合检索结果并通过最佳优先搜索构建候选树验证。在无需辅助草稿模型下，它在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 上分别实现 1.66x 和 1.56x 的平均解码加速比，优于 Token Recycling 基线。
来源：arXiv cs.AI · arxiv.org