跳到正文
arXiv cs.SE· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 2 小时前AI 评分58

智能体失败该怪模型还是执行框架?论文提出模型与框架交互评测框架

When Agents Fail: Model or Harness--Who's to Blame?

AI 导读

论文提出智能体表现由模型与执行框架共同决定,应通过二者交互来评测框架,并给出 Valid Completion Rate、Model-Harness Fit、Cross-Model Fit、Interaction Residuals 和 Token Load 五项指标。

来源:arXiv cs.SE · arxiv.org