SWE-Journey 编程助手长程多轮评测基准发布

研究者 Hexuan Deng 等人发布 SWE-Journey 基准，用于更真实地评测 Claude Code、Codex 等编程助手在长周期、多轮交互中的表现。该基准通过弱到强合成流程自动构建长周期编程任务，并从真实交互数据中挖掘四类用户画像、构建用户模拟智能体来复现多轮交互。 结果显示，编程助手面对软件架构师角色时模型平均通过超 75% 的功能测试，而面对非程序员角色时通过率不足 25%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。