arXiv cs.SE· Radin Shayanfar, Keheliya Gallaba, Ahmed E. Hassan·· 3 小时前AI 评分40
如何为实践挑选编码智能体基准:来自任务需求与智能体行为的经验
Choosing Coding-Agent Benchmarks for Practice: Lessons from Task Demands and Agent Behaviour
AI 导读
论文刻画了五个公开基准的 2,487 个任务,并分析六种智能体配置的 14,922 次运行,提出 Spread-Novelty-Centrality(SNC)画像,用来描述参考解在文件与目录间的分布、增删比例以及所触及代码的依赖、历史与复杂度。
来源:arXiv cs.SE · arxiv.org