arXiv cs.SE· Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Jiayu Yao, Jiafeng Guo, Xueqi Cheng·· 3 小时前AI 评分51
Doc2Harness：评测 LLM 编码智能体长程 harness 工程的基准
Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
AI 导读
论文提出 Doc2Harness，一个两阶段基准，直接评测长程 harness 工程能力：第一阶段构建模型在固定 builder harness 内根据仅含接口的契约骨架和一份汇总十二个前沿 harness 行为的开发文档，在隔离容器中构建完整候选 harness；第二阶段冻结的候选 harness 在独立容器中由脚本化 mock 模型端到端驱动。
来源：arXiv cs.SE · arxiv.org