arXiv cs.SE· Chenyang Yang, Hao He, Ti-Chung Cheng, Jenna Butler, Emerson Murphy-Hill, Carmen Badea, Christian Bird·· 6 小时前精选AI 评分62
CRBugBench：代码审查智能体在 Bug 检测上的基准测试
(When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
AI 导读
研究者构建 CRBugBench，用于评估代码审查智能体能否发现人工确认的 Bug，包含 98 个开源 GitHub 仓库的 1000 个审查任务，以及某大型公司专有仓库的 800 个额外任务。
推荐理由
CRBugBench 用 1000 个真实 PR 任务量化代码审查智能体的查错能力，并给出按 PR 复杂度分配审查投入的实践指引。
来源：arXiv cs.SE · arxiv.org