量子位· 闻乐·· 25 天前AI 评分66
字节 Seed 团队揭示 DeepSeek 表现波动的根源:分块 KV Cache 压缩引发相位敏感性
字节找到了DeepSeek时强时弱的原因
AI 导读
字节 Seed 团队研究发现,DeepSeek-V4 等模型的长文本检索表现会随输入 Token 相对压缩窗口边界的位置出现周期性波动,128K 检索准确率差距最高达 40.2 个百分点。这一现象被称为相位敏感性,主要由分块 KV Cache 压缩机制引起,且波动周期与底层压缩步长直接对应。实验显示后训练和架构迭代能缩小该差距,团队建议评估分块压缩模型时需对不同压缩相位分别测试。
来源:量子位 · qbitai.com