SWE-Journey:面向长周期多轮交互的编程助手更真实评测基准
研究者推出 SWE-Journey 基准,用于更真实地评测 Claude Code、Codex 等编程助手。该基准通过弱到强合成流程自动构建长周期编程任务,并从真实交互数据中挖掘四类用户画像、构建用户模拟智能体来复现多轮交互。结果显示,面对软件架构师角色模型平均通过超 75% 的功能测试,而面对非程序员角色时通过率不足 25%。
研究者推出 SWE-Journey 基准,用于更真实地评测 Claude Code、Codex 等编程助手。该基准通过弱到强合成流程自动构建长周期编程任务,并从真实交互数据中挖掘四类用户画像、构建用户模拟智能体来复现多轮交互。结果显示,面对软件架构师角色模型平均通过超 75% 的功能测试,而面对非程序员角色时通过率不足 25%。
研究提出一种跨供应商审查契约,要求编码智能体使用独立资源池、受限审查能力与逐次尝试的持久证据。在20轮配对开发试点中,8轮出现实质性审查发现(95%精确区间19.1-63.9%);边界扫描复现了部分输入下的假成功,并修复了进程回收期间的取消问题。CLI探测显示Claude无写入工具,Codex在5次只读试验中均尝试写入但均失败,未改动任何仓库。