AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分70
AWS 为 vLLM 引入 push 模式 KV 传输，降低分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中贡献了 push 模式的 NIXL KV 传输连接器，把解码端的块注册与传输准备从关键路径移到预填充侧和后台线程。
推荐理由
原文给出 push 模式的架构、线程模型与可复现基准，读者可据此判断是否切换 KV 传输方式。
来源：AWS Machine Learning Blog · aws.amazon.com