Hugging Face Blog·· 4 小时前精选AI 评分48
Ai2 如何用 GPU 时间预算与分层公平调度改造集群调度器
Impactful scheduling for GPU clusters
AI 导读
Ai2 的 AI 基础设施团队用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把算力分配从逐案运维变成透明的预算流程。在 30 天测试期内,团队实际获得的 GPU 时间达到应得量的 98%,集群占用率维持在 98%,调试类工作负载的 p90 排队时间从 2 小时降到 30 秒,需要人工介入的维修减少 74%。
推荐理由
Ai2 公开了用 GPU 时间预算和分层公平调度替代优先级调度的完整设计,可迁移到其他算力集群。
来源:Hugging Face Blog · huggingface.co