arXiv cs.SE· Han Chi, Jiaxin Qi, Yan Cui, Baisheng Lai, Jianqiang Huang·· 2 小时前AI 评分40
AgentMeter:面向命令行智能体的质量效率公平基准
Matching Matters: A Fair Quality-Efficiency Benchmark for Command-Line Agents
AI 导读
论文提出 AgentMeter 质量效率基准及 AgentMeter Score(AMS)指标,同时衡量任务质量、预算敏感性和零奖励的资源消耗执行,用于评估 LM-CLI 组合。
来源:arXiv cs.SE · arxiv.org