BenchChecker：评估 LLM 修 Bug 基准的可信度

论文提出 BenchChecker 框架，用于检测 LLM 自动程序修复基准中的数据污染，兼容开源与闭源模型。该方法基于持久补丁可能残留在训练所用近期仓库快照中的观察，采用两阶段取证检测：先用代码前缀探测模型推断训练是否包含该仓库，再通过相似度对齐与测试套件验证补丁是否留存。