跳到正文
热点事件持续更新

Δτ-Bench:模拟工具生态演化的Agent基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Shuofei Qiao 等作者提出并发布 Δτ-Bench,一个模拟大型工具生态结构演化的可执行智能体基准,覆盖 42 个领域、1,588 个多轮任务和六个连续生态状态。评测显示,最强模型或 harness 仅达到 42.3% 的任务成功率,现有技能学习方法的初始收益无法随生态演化稳定转化为适应能力。 作者据此提出生态管理器 Steward,通过增量技能维护和任务执行中的动态供给来管理工具与过程性知识。上述 42.3% 和技能学习收益的结论来自该论文的评测,Steward 的效果为作者提出的方案。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.SE
    Δτ-Bench:面向工具生态持续演化的智能体基准

    论文提出 Δτ-Bench,一个模拟大型工具生态结构演化的可执行智能体基准,包含 42 个领域、1,588 个多轮任务和六个连续生态状态。评测显示最强模型或 harness 仅达 42.3% 任务成功率,现有技能学习方法的初始收益无法随生态演化稳定转化为适应能力。作者据此提出生态管理器 Steward,通过增量技能维护和任务执行中的动态供给来管理工具与过程性知识。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。