跳到正文
arXiv cs.SE· Radin Shayanfar, Keheliya Gallaba, Ahmed E. Hassan·· 3 小时前AI 评分40

如何为实践挑选编码智能体基准:来自任务需求与智能体行为的经验

Choosing Coding-Agent Benchmarks for Practice: Lessons from Task Demands and Agent Behaviour

AI 导读

论文刻画了五个公开基准的 2,487 个任务,并分析六种智能体配置的 14,922 次运行,提出 Spread-Novelty-Centrality(SNC)画像,用来描述参考解在文件与目录间的分布、增删比例以及所触及代码的依赖、历史与复杂度。

来源:arXiv cs.SE · arxiv.org