arXiv cs.LG· Johnny Jingze Li, Abdulla Kuleib, Kalyan Basu, Gabriel A. Silva·· 2026-09-30AI 评分39
大语言模型在串行需求下如何重分布注意力头活跃度
How Language Models Differ in Redistributing Attention-Head Activity Under Serial Demand
AI 导读
一项针对 17 个开源权重模型的研究发现，随着任务串行需求增加，多数模型在中前层集中注意力头活跃度、后续层趋于分散。Qwen2.5（0.5B 至 7B 及 72B）在模型后半部分更倾向集中活跃度，而 Llama（1B 至 8B 及 Llama-3.1-70B）与 OLMo-2 则趋向分散。消融实验表明活跃度更集中的模型更依赖核心头输出答案，相关代码已开源。
来源：arXiv cs.LG · arxiv.org