SCRBench 代码语义变更推理基准发布
热点事件持续更新
SCRBench 代码语义变更推理基准发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队发布 SCRBench 基准，用 67,658 对经代码变更序列生成的 Python 程序对，评测模型判断变更是否改变语义的能力。在 4,500 对分层子集上，五个语言模型的等价性检测准确率最高达 94.71%，但同一模型只能诊断出 54.44% 的语义变化；最佳模型仅对 39.27% 的程序对重建出精确变更序列，施加五次变更时无一模型超过 1.11%。 作者据此指出，高等价性准确率会高估模型对代码变更语义影响的理解能力。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
SCRBench：用语义变化推理评测代码模型，超越等价性检查报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.SESCRBench：用语义变化推理评测代码模型，超越等价性检查
研究团队构建 SCRBench，包含 67,658 对通过代码变更序列生成的 Python 程序对，并在 4,500 对分层子集上评测五个语言模型。结果显示，等价性检测准确率 94.71% 的模型只能诊断出 54.44% 的语义变化，最佳模型仅对 39.27% 的程序对重建出精确变更序列，施加五次变更时无一模型超过 1.11%。作者据此指出，高等价性准确率会高估模型对代码变更语义影响的理解能力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。