arXiv cs.SE· Pujun Zheng, Zixin Shang, Shufan Jiang, Wenhui Tian, Dongsheng Zhu, Zerun Ma, Dingbo Yuan, Qi Zhang·· 5 小时前AI 评分58
SWE-Bench Pro Verified：面向软件工程智能体的可靠基准
SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
AI 导读
论文提出 SWE-Bench Pro Verified，针对 SWE-Bench Pro 评估中的两类不可靠来源进行修正：一是奖励攻击，源于金标答案或隐藏评估信息泄漏；二是任务质量问题，包括误导性题目描述和范围不当的测试。
来源：arXiv cs.SE · arxiv.org