arXiv cs.LG· Seiya Tokui, Shoichiro Yamaguchi, Sosuke Kobayashi·· 7 天前AI 评分38
注意力头维度对语言模型的长上下文检索至关重要
Head Dimension Matters in Language Models for Long-Context Retrieval
AI 导读
在固定模型大小下，增加注意力头维度（即采用更少但更宽的头）能显著提升语言模型的长上下文检索性能，而对预训练损失和短上下文非检索任务影响微弱。分析表明较宽的头具有更高比例的检索头，从而让更多参数直接参与信息检索。消融实验显示，即便在长上下文持续预训练中冻结注意力投影权重，更宽的头依然能促进嵌入向量与 MLP 等组件更有效适应。
来源：arXiv cs.LG · arxiv.org