TestJack：审计编码基准评测器

研究者提出 TestJack，一个超越固定单元测试的补丁评估框架，用于审计编码 Agent 基准评测。它针对每个 trial 生成覆盖提示词要求的测试，只保留真实补丁能通过的测试，并重新检查失败样本，使每个确认的失败都有可复现测试支撑。 据作者称，用该框架审计发现约 34.4% 的通过样本实际违反了任务要求。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。