Latent Space·· 2 小时前精选AI 评分86
DeepSeek 开源推理栈 DeepInfer，单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理栈 DeepInfer，基于 vLLM 定制并支持 NVIDIA SM100 与华为昇腾 950，同时发布 deepseek-recipe 处理 Chat Completions、Responses、Messages 等 API 协议转换。
推荐理由
DeepSeek 开源生产推理栈，并给出单集群吞吐与单卡收入数据，可对照 vLLM 的复现结果理解缓存与调度设计。
来源：Latent Space · latent.space