arXiv cs.SE· Omid Saghatchian, Ali Mahzoun, Khashayar Etemadi, Saeed Reza Kheradpisheh·· 4 小时前AI 评分38
SCRBench：用语义变化推理评测代码模型，超越等价性检查
SCRBench: Beyond Equivalence Checking for Semantic Change Reasoning in Code
AI 导读
研究团队构建 SCRBench，包含 67,658 对通过代码变更序列生成的 Python 程序对，并在 4,500 对分层子集上评测五个语言模型。结果显示，等价性检测准确率 94.71% 的模型只能诊断出 54.44% 的语义变化，最佳模型仅对 39.27% 的程序对重建出精确变更序列，施加五次变更时无一模型超过 1.11%。作者据此指出，高等价性准确率会高估模型对代码变更语义影响的理解能力。
来源：arXiv cs.SE · arxiv.org