跳到正文
arXiv cs.SE· Jue Huang, Tarek Mahmud, Meiru Che, Guowei Yang·· 3 小时前AI 评分31

超越功能正确性:LLM 生成代码的静态代码质量画像

Beyond Functional Correctness: Static Code Quality Profiling of LLM-Generated Code

AI 导读

一项研究对 LiveCodeBench 中 73 个模型的 65,663 个 Python 程序用 Pylint、Radon 和 SonarQube 做静态质量画像,发现模型间存在功能正确性无法体现的系统性差异,可维护性是差异最明显的来源。研究还发现,正确性往往伴随结构性权衡,而非普遍更简单的解法。作者据此呼吁评估框架不应只看通过率。

来源:arXiv cs.SE · arxiv.org