Sebastian Raschka 盘点 2026 年初 10 款开源权重 LLM 架构演进

Sebastian Raschka 盘点了 2026 年 1 至 2 月发布的十余款开源权重模型架构，重点剖析了混合注意力、专家混合与多 Token 预测等设计差异。分析涵盖 Kimi K2.5、GLM-5、Qwen3.5 等模型对 MLA、Gated DeltaNet 和稀疏注意力的应用演进。文章指出开源模型在模型性能之外，正加速转向针对长上下文与推理吞吐的架构效率优化。