量子位· 听雨·· 7 天前AI 评分72
百度开源文心 Unlimited OCR 2:KV Cache 占用减少 96%,支持千页超长文档连续解析
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度正式开源文心 Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制与无限解码机制,实现千页级超长文档的连续解析。在百页级单序列测试中,该方案将峰值 KV Cache 占用从 47GB 降至 1.77GB,降幅达 96%,16 路并发下端到端吞吐量达 1315 Token/秒。目前相关代码和模型已在 GitHub 与 Hugging Face 正式开源。
来源:量子位 · qbitai.com