arXiv cs.SE· Ji Shi, Lirong Jie, Lexiao Zou, Yaoming Zhu, Yifan Yang, Xuezhi Cao, Xunliang Cai, Miao Zhang·· 1 小时前AI 评分40
Trace2Eval：从真实交互轨迹构建编码智能体评测基准
Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces
AI 导读
Trace2Eval 提出一套可动态更新的评测流水线，从真实用户交互轨迹中重建查询与执行环境，用于评测编码智能体产出的整体质量。该流水线通过多智能体系统还原原始查询和工作区文件，并用人工评分标准对齐与裁判智能体校准来评估产物。
来源：arXiv cs.SE · arxiv.org