arXiv cs.SE· Quoc Co Tran, Hitesh Laxmichand Patel, Diwakar Mahajan, Kshitij Bakliwal, Avi Sil, Katrin Kirchhoff·· 4 小时前AI 评分45
MLOps-Bench：在真实仓库中评测 AI 智能体的生产级 ML 工程能力
MLOps-Bench: Benchmarking AI Agents on Production ML Engineering in Real Repositories
AI 导读
研究者提出 MLOps-Bench，一个面向生产 ML 工程的仓库级基准，覆盖数据管道、特征工程、模型训练、模型服务、监控、CI/CD 与治理及端到端集成。该基准包含来自 31 个公开 ML 仓库的 212 个已验证任务、636 个 fail-to-pass 测试和 856 个 pass-to-pass 测试。
来源：arXiv cs.SE · arxiv.org