Hugging Face Daily Papers·· 5 天前精选AI 评分51
Salesforce 发布 CRM-Agent-Bench:评测有状态企业环境中的工具调用智能体
CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
AI 导读
Salesforce 推出 CRM-Agent-Bench,一个面向有状态企业环境的执行型基准,包含 9 个业务领域、36 个能力标签的 555 个多轮任务,每个任务配有可执行契约,成功需同时满足结果、轨迹、可行性与合规检查。在最终审计版本上评测的 16 个系统中,严格成功率介于 64.32% 至 83.60%,领先系统之间成本与各领域可靠性差异明显。基准代码已在 GitHub 开源。
推荐理由
该基准用可执行契约同时考察结果、轨迹、可行性与合规,为工具型智能体的企业部署评测提供了可审计框架。
来源:Hugging Face Daily Papers · huggingface.co