Hugging Face Daily Papers·· 2 天前精选AI 评分47
Δτ-Bench:评测智能体对不断演化的工具生态的适应能力
Δτ-Bench: Pushing Agents Toward a Moving Capability
AI 导读
研究团队提出 Δτ-Bench,一个模拟大型工具生态结构演化的可执行智能体基准,包含 42 个领域、6 个连续生态状态下的 1,588 个多轮任务。评测显示最强模型或 harness 的任务成功率仅 42.3%,现有技能学习方法的初期收益无法随生态演化稳定转化为更好的适应能力。
推荐理由
论文给出智能体在工具生态持续变化下的评测基准与配套方法,可观察现有技能学习方法的适应局限。
来源:Hugging Face Daily Papers · huggingface.co