arXiv cs.SE· Neeva Oza, Ishaan Govil, Parul Gupta, Dinesh Khandelwal, Dinesh Garg, Parag Singla·· 3 小时前AI 评分40
LLM 难以应对简单代码变换：CETBench 代码等价性检查基准发布
LLMs are Brittle to Simple Code Transformations: Introducing CETBench - A Benchmark for Code-Equivalence Checking
AI 导读
作者提出 CETBench 基准，通过采样程序对并施加随机代码变换序列，生成等价或非等价的程序对，用于检验 LLM 判断两段程序功能是否等价的能力。分析显示，即使简单变换也会让当前最优 LLM 在代码等价检查上出现明显性能下降，跨语言比较时问题更突出。作者还给出一种基于微调的简单方法来提升模型在变换后程序对上的表现，该基准已发表于 ACL Findings 2026。
来源：arXiv cs.SE · arxiv.org