量子位· 听雨·· 12 小时前精选AI 评分71
百度开源文心Unlimited OCR 2，峰值KV缓存降约96%
KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
AI 导读
百度发布并开源文心Unlimited OCR 2，可连续解析数千页文档，百页级单序列测试中峰值KV缓存从47GB降至1.77GB，减少约96%。模型引入稀疏参考滑动窗口注意力机制SR-SWA和无限解码机制，单步解码速度分别为Full Attention的7.0倍、上一代R-SWA的5.6倍。
推荐理由
原文给出峰值KV缓存从47GB降至1.77GB和单步解码提速的具体数据，可据此判断长文档OCR的显存与吞吐边界。
来源：量子位 · qbitai.com