arXiv cs.SE· Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu·· 1 小时前精选AI 评分60
SWE-Skills-Bench：Agent 技能在真实软件工程任务中是否真有用
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
AI 导读
研究者提出 swe-skills-bench，一个以技能为中心、需求驱动的基准，用于衡量单个 Agent 技能在真实软件工程任务上的提升幅度。基准从 98 个公开 SWE 技能出发，每个技能配对一个固定 commit 的真实 GitHub 仓库，生成可执行验证器并在四种 Agent 模型配置下做有技能与无技能的配对评测，共 3920 次。
推荐理由
论文用 3920 组配对评测量化单个 Agent 技能对真实 SWE 任务的增益，给出技能有效性的统计分类方法。
来源：arXiv cs.SE · arxiv.org