跳到正文
arXiv cs.SE· Wei Guo, Yuanjian Xu, Jianing Hao, Yongyao Duan, Ran Chen, Zhong Li, Guang Zhang·· 2 小时前AI 评分38

研究提出操作级框架,连接 LLM 基础能力与智能体能力

Bridging Foundational and Agentic Capabilities of LLMs

AI 导读

该论文提出操作级测量框架,用能力基准构建基础能力画像、用交互轨迹构建操作画像,并将观测到的操作表现与基于基础能力的预测之间的偏差定义为能力实现差距。在 τ²-Bench 上对 15 个模型服务的实验显示,基础能力画像只能部分预测智能体操作,画像相近的模型在执行上可能差异明显,且这些差距在不同任务子集上保持一致;加入操作画像能显著提升任务得分预测。作者表示将公开代码与分析产物。

来源:arXiv cs.SE · arxiv.org