现代大语言模型注意力变体图解指南：从 GQA、MLA 到混合注意力架构

Sebastian Raschka 发布现代大语言模型注意力机制图解指南，系统盘点并对比了近年主流开源模型采用的核心架构演进。文章详细拆解了多头注意力（MHA）、分组查询注意力（GQA）、多头潜在注意力（MLA）、滑动窗口注意力（SWA）及 DeepSeek 稀疏注意力（DSA）在 KV cache 占用与建模能力上的权衡。