跳到正文
arXiv cs.SE· Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang·· 2 小时前AI 评分40

AgentMeter:面向命令行智能体的质量效率公平基准

Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents

AI 导读

论文提出 AgentMeter 质量效率基准及 AgentMeter Score(AMS)指标,同时衡量任务质量、预算敏感性和零奖励的资源消耗执行,用于评估 LM-CLI 组合。

来源:arXiv cs.SE · arxiv.org