跳到正文
原文
量子位· 闻乐·· 25 天前AI 评分66

字节 Seed 团队揭示 DeepSeek 表现波动的根源:分块 KV Cache 压缩引发相位敏感性

字节找到了DeepSeek时强时弱的原因

AI 导读

字节 Seed 团队研究发现,DeepSeek-V4 等模型的长文本检索表现会随输入 Token 相对压缩窗口边界的位置出现周期性波动,128K 检索准确率差距最高达 40.2 个百分点。这一现象被称为相位敏感性,主要由分块 KV Cache 压缩机制引起,且波动周期与底层压缩步长直接对应。实验显示后训练和架构迭代能缩小该差距,团队建议评估分块压缩模型时需对不同压缩相位分别测试。

来源:量子位 · qbitai.com