Hugging Face Daily Papers·· 2 天前精选AI 评分47
CrossSWE:面向编码智能体的跨仓库联合开发基准
CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
AI 导读
CrossSWE 是一个面向编码智能体的跨仓库联合开发基准,包含 171 个真实实例,覆盖 165 个仓库、20 个技术领域和 13 种编程语言。该基准通过检验仅修改部分仓库是否不足以实现预期行为,来确认协同修改的必要性。对五个 LLM 的评测显示,最强模型 GPT-6.1 Sol 仅达到 58.48% Pass@1,跨仓库不一致是最主要的失败模式,占 44.2%。
推荐理由
该基准用 171 个真实跨仓库实例检验编码智能体,并给出当前最强模型仅 58.48% Pass@1 的实测结果。
来源:Hugging Face Daily Papers · huggingface.co