AWS Machine Learning Blog· Mona Mona·· 3 小时前精选AI 评分62
Amazon SageMaker AI 上的 MoE 内核工程优化实践
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 团队介绍了针对融合 MoE 模型的三项内核优化：通过 Swap-AB 转置矩阵提升 Hopper WGMMA 利用率，在 H200 上带来 2–4% 端到端吞吐提升。
推荐理由
AWS 团队公开了融合 MoE 内核的三项具体优化及其在 vLLM 中的落地版本，可迁移到自建推理服务。
来源：AWS Machine Learning Blog · aws.amazon.com