AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分36
用 Ray LLM Deep Learning Containers 在 EKS 上运行多节点推理负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布多节点 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，一个节点做 prefill、另一个做 decode，对外暴露一个 OpenAI 兼容端点。
来源：AWS Machine Learning Blog · aws.amazon.com