跳到正文
热点事件持续更新

研究:编码智能体早期失败预测接近随机

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Srinath Srinivasan 等作者发表的论文检验编码智能体能否在运行早期预测失败、提前终止无望的任务。论文基于两个公开语料库的 147,002 条执行轨迹、覆盖四种模型-框架组合,发现在 5k–20k token 的早期节点上,任务内判别能力接近随机:20k token 处三次随机种子的平均任务内 AUC 为 0.50,区间 [0.48, 0.51]。 这一结果针对的是“继续还是重跑”的早期停止决策,即依据运行早期信号判断该次运行是否值得继续;论文称早期停止本可降低自主编码智能体的计算成本。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.SE
    继续还是重跑?论文揭示编码智能体早期失败预测的局限

    论文基于两个公开语料库的 147,002 条执行轨迹,覆盖四种模型-框架组合,检验编码智能体能否通过早期失败预测提前终止无望的运行。结果显示,在 5k-20k token 的早期节点上,任务内判别能力接近随机,20k token 处三次随机种子的平均任务内 AUC 为 0.50 [0.48, 0.51]。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。