跳到正文
Hugging Face Daily Papers·· 5 天前精选AI 评分51

Salesforce 发布 CRM-Agent-Bench:评测有状态企业环境中的工具调用智能体

CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments

AI 导读

Salesforce 推出 CRM-Agent-Bench,一个面向有状态企业环境的执行型基准,包含 9 个业务领域、36 个能力标签的 555 个多轮任务,每个任务配有可执行契约,成功需同时满足结果、轨迹、可行性与合规检查。在最终审计版本上评测的 16 个系统中,严格成功率介于 64.32% 至 83.60%,领先系统之间成本与各领域可靠性差异明显。基准代码已在 GitHub 开源。

推荐理由

该基准用可执行契约同时考察结果、轨迹、可行性与合规,为工具型智能体的企业部署评测提供了可审计框架。

来源:Hugging Face Daily Papers · huggingface.co