论文提出命令行智能体质量效率基准 AgentMeter

Han Chi 等作者在 arXiv 发表论文，提出面向命令行智能体（LM-CLI 组合）的质量效率基准 AgentMeter，并给出新指标 AgentMeter Score（AMS）。据论文表述，AMS 同时刻画任务质量、预算敏感性和零奖励下资源消耗的执行情况，用于更完整地评估实际部署的语言模型与命令行界面组合。 该基准针对的是命令行智能体评测：既看任务完成质量，也看在不同预算下的表现，以及未获奖励时仍大量消耗资源的情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。