Hugging Face Daily Papers·· 14 天前精选AI 评分58
PersonaCUABench 发布:计算机使用智能体服务不同用户画像的基准测试
PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas
AI 导读
PersonaCUABench 是一个固定 74 个任务、11 个领域、只改变提问者身份的基准,用 44 个用户画像改写指令并回答智能体的提问。在九个基座模型共 3330 次运行中,平均任务完成率相对原始指令下降 36%;即使任务完全完成,用户给出最高满意度的比例也只有 62.7%,而原始指令为 84.1%。
推荐理由
该基准固定任务只改变提问者身份,量化了计算机使用智能体在真实用户表达下的完成率与满意度落差。
来源:Hugging Face Daily Papers · huggingface.co