arXiv cs.SE· Jia Feng, Alyssa Wu, Cuiyun Gao, Yunlong Wang, Songyuanyi Lu, Zhichao Hu·· 2 小时前AI 评分55
FeatureLoop:在演进需求下评测编码智能体的新基准
FeatureLoop: Benchmarking Coding Agents under Evolving Requirements
AI 导读
研究者提出 FeatureLoop 基准,包含来自 34 个仓库、5 种编程语言和 7 种软件形态的 61 个人工审核任务,每个任务在持久工作区中经历需求演进反馈与完成反馈,并用累积可执行检查追踪新行为、修复和对既有功能的保持。
来源:arXiv cs.SE · arxiv.org