arXiv cs.SE· Srinath Srinivasan, Lunxiao Li, Tim Menzies, Wesley Assun\c{c}\~ao·· 3 小时前AI 评分42
继续还是重跑？论文揭示编码智能体早期失败预测的局限
Continue or Restart? The Limits of Early Failure Prediction in Coding Agents
AI 导读
论文基于两个公开语料库的 147,002 条执行轨迹，覆盖四种模型-框架组合，检验编码智能体能否通过早期失败预测提前终止无望的运行。结果显示，在 5k-20k token 的早期节点上，任务内判别能力接近随机，20k token 处三次随机种子的平均任务内 AUC 为 0.50 [0.48, 0.51]。
来源：arXiv cs.SE · arxiv.org