arXiv cs.LG· Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu·· 16 小时前AI 评分40
SparseGDN：线性注意力中的分块稀疏机制
SparseGDN: Chunk Sparse in Linear Attention
AI 导读
研究团队推出硬件感知框架 SparseGDN，通过结构化块内近似与动态循环事件选择加速线性注意力模型的长上下文 prefill。在 Qwen3.5-4B 和 Qwen3.5-9B 跨 4K 至 128K 上下文的 RULER 评测中，该方法平均仅保留约 29% 的循环事件。
来源：arXiv cs.LG · arxiv.org