LLM 架构最新进展：KV 共享、mHC 与压缩注意力

近期开源大语言模型架构重点针对长上下文效率进行优化，以降低推理模型与智能体场景下的 KV cache 显存占用和计算瓶颈。代表性设计包括 Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算分配、ZAYA1-8B 的压缩卷积注意力，以及 DeepSeek V4 的 mHC 与压缩注意力。