研究揭示代码LLM过度自信失败问题

一项新研究分析了基于 LLM 的代码生成中的"过度自信"问题：模型生成的错误程序，其 token 级置信度常与正确程序相当。作者 Ravishka Rathnasuriya 与 Wei Yang 在四个开源代码模型和三个基于执行的基准上展开测试，发现现有不确定性信号只能提供部分且依赖模型的执行失败证据，过度自信在程序级和 token 级均持续存在，基于不确定性的选择无法稳定提升接受集准确率。 研究还发现，指令微调会提高失败生成的确定性，却不改善对正确性的判别，常见缓解手段也无法可靠解决这一失败模式。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。