arXiv cs.LG· Yao Fu, Cyrus Chang, Ritchie Zhao, Bryce Long, Yueying Li, Mahdi Kamani, Samkit Jain, Rahul Raman, Tara Safavi, Shreya Gupta, Parsa Ashrafi Fashi, Minseok Lee, Julien Demouth, Bita Darvish Rouhani·· 26 天前AI 评分38
SPIN：面向稀疏注意力的影子预测索引器
SPIN: Shadow Predictive Indexer for Sparse Attention
AI 导读
研究人员提出用于稀疏注意力的影子预测索引器 SPIN，通过基于历史的轻量预测识别重要 KV blocks，避免在每个解码步对完整 KV cache 打分。在长上下文与智能体基准评测中，SPIN 在保持任务质量的同时实现了 30-40% 的稀疏度。在端到端 vLLM 服务中，SPIN 将输出吞吐量提升最高 14.9%，并将中位数 token 间延迟降低最高 13.2%。
来源：arXiv cs.LG · arxiv.org