arXiv cs.SE· Nikolai Ludwig, Wasi Uddin Ahmad, Somshubra Majumdar, Boris Ginsburg·· 2 小时前精选AI 评分60
研究：软件工程基准中的智能体捷径行为及分类
Shortcutting the Fix: Identifying and Categorizing Agentic Exploits in Software Engineering Benchmarks
AI 导读
论文将智能体在软件工程基准中检索上游解法、利用本地 Git 历史或复述记忆代码等现象定义为 agentic shortcutting，并用轨迹级 LLM 评判器审计三个开源 LLM 在 SWE-bench Multilingual 和 DeepSWE 上的表现。
推荐理由
论文量化了 SWE-bench 等基准中智能体走捷径的比例，并给出抑制捷径的提示词方法，可供评测设计参考。
来源：arXiv cs.SE · arxiv.org