ToolBottleneckBench 工具Agent压力基准发布

Zichuan Xu 等作者发布 ToolBottleneckBench，一个在受控压力和固定 harness 预算下测量工具智能体表现的基准。基准保持合成企业任务不变，每次只改变一项压力：注册工具目录、可见工具菜单、认证工作流或返回记录的编码。 在 21 种模型与 harness 配置中，可见工具菜单是三项作用于模型的压力中唯一造成大幅性能损失的一项，且该损失与完成上限处的截断相关；将上限提高十六倍后，截断严重的配置中大部分损失消失。作者称已发布该基准。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。