热点事件持续更新
研究团队提出SEED框架加速混合架构大模型推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月5日，arXiv发布研究论文，提出了专为混合架构大语言模型设计的推理加速框架SEED。该框架通过浅层残差流生成深层记忆，并对循环状态进行低秩压缩。SEED在冻结原模型权重的前提下，使输入提示词除末尾token外仅需运行少至63%的层，在参数规模介于30B至超300B的模型上测试表现近乎无损。此外，在NVIDIA GB300 GPU上通过SGLang进行部署验证时，该方法成功将Qwen3.8-Flash-Next的单GPU推理吞吐量提升了1.2至1.4倍。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
研究团队提出SEED框架，可降低混合模型提示词计算层数并将吞吐量提升最高1.4倍。报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.LGSEED：利用浅层编码生成深层记忆加速混合模型推理
SEED 框架通过浅层残差流生成深层记忆并将循环状态进行低秩压缩，以此加速混合架构大语言模型推理。该方法冻结原模型权重，使提示词除末尾 token 外仅需运行少至 63% 的层，并在 30B 至超 300B 参数的模型上表现近乎无损。在 NVIDIA GB300 GPU 上经 SGLang 部署，它将 Qwen3.8-Flash-Next 的单 GPU 吞吐量提升了 1.2-1.4x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。