Hugging Face Daily Papers·· 2 天前精选AI 评分62
远程 KV 缓存为何比 GPU 还慢：面向上下文并行预填充的远程 KV 分层扩展
When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill
AI 导读
论文研究 GLM-5.3 在 8xB300 节点上以 PCP8 上下文并行预填充时，启用 LMCache 加 Valkey 的远程 KV 缓存层会让 16k token 的 p99 从 3.96 s 升到 17.3 s，中位首 token 时间不变。
推荐理由
论文用成本模型解释远程 KV 缓存何时反而拖慢首 token 延迟，并给出分片与异步加载的改造方案。
来源：Hugging Face Daily Papers · huggingface.co