跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分47

FrontierCS 2 发布:面向计算机科学研发的智能体基准

FrontierCS 2: A Benchmark for Computer Science R&D

AI 导读

FrontierCS 2 是一个包含 48 个开放式任务的基准,用于评测 LLM 智能体在计算机科学研发中的表现,另有 100 多个私有任务待公布。任务取自论文及其公开代码,删除论文贡献部分后作为人类参考标准,智能体在可提交补丁的仓库环境中工作,评测套件和参考实现保持私有。评测 12 个智能体,表现最好的 Claude Opus 5.5 通过 58% 的运行,有 16 个任务无任何运行通过。

推荐理由

该基准把智能体放进真实研究仓库,用隐藏评测套件和人类参考代码设门槛,可看出当前智能体在开放式科研任务上的实际差距。

来源:Hugging Face Daily Papers · huggingface.co