ORACLE-SWE量化SWE智能体关键信息信号贡献

Kenan Li等作者发布论文ORACLE-SWE，量化复现测试、回归测试、编辑位置、执行上下文和API使用等中间信息信号对仓库级软件工程任务最终成功率的贡献，并测量智能体自行提取的信号与oracle信号之间的差距。作者称，该研究同时量化oracle信号与智能体提取信号对任务成功率的贡献。 作者开源了源代码与oracle信号数据集，称其可作为可复用方法用于后续SWE智能体的信号分析。论文目前处于同行评审阶段，共31页、9图、11表。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。