arXiv cs.LG· Mingyuan Ma, Yangmin Li, Harris Nover, Zheyu Fu, Po-Han Huang, Alex Settle, Ashwin Nanjappa·· 2 小时前AI 评分44
SEED：利用浅层编码生成深层记忆加速混合模型推理
Shallow Encoding Emits Deep Memories
AI 导读
SEED 框架通过浅层残差流生成深层记忆并将循环状态进行低秩压缩，以此加速混合架构大语言模型推理。该方法冻结原模型权重，使提示词除末尾 token 外仅需运行少至 63% 的层，并在 30B 至超 300B 参数的模型上表现近乎无损。在 NVIDIA GB300 GPU 上经 SGLang 部署，它将 Qwen3.8-Flash-Next 的单 GPU 吞吐量提升了 1.2-1.4x。
来源：arXiv cs.LG · arxiv.org