SWE-Clar 编码 Agent 需求澄清基准发布

研究者 Jialei Li 等人发布基准 SWE-Clar，用于评估编码智能体在自由职业场景下澄清不完整客户需求并完成代码实现的能力。 该基准包含 100 个取自 Upwork 的真实软件开发任务，每个任务总付款至少 4000 美元。评测流程为：编码智能体先与客户智能体多轮交互，再分别评估代码实现和澄清效果；澄清效果评估使用 512 道配参考回答的问题。 据作者称，该基准基于真实、高价值的客户委托构建，同时考察需求澄清与代码实现两方面能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。