跳到正文
Hugging Face Blog·· 4 小时前精选AI 评分48

Ai2 如何用 GPU 时间预算与分层公平调度改造集群调度器

Impactful scheduling for GPU clusters

AI 导读

Ai2 的 AI 基础设施团队用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把算力分配从逐案运维变成透明的预算流程。在 30 天测试期内,团队实际获得的 GPU 时间达到应得量的 98%,集群占用率维持在 98%,调试类工作负载的 p90 排队时间从 2 小时降到 30 秒,需要人工介入的维修减少 74%。

推荐理由

Ai2 公开了用 GPU 时间预算和分层公平调度替代优先级调度的完整设计,可迁移到其他算力集群。

来源:Hugging Face Blog · huggingface.co