LLM 代码生成中的过度自信失败问题研究
研究针对基于 LLM 的代码生成中"错误程序却表现出与正确程序相当的 token 级置信度"这一过度自信困境，在四个开源代码模型和三个基于执行的基准上展开分析。结果显示，现有不确定性信号仅提供部分且依赖模型的执行失败证据，过度自信在程序级和 token 级均持续存在，基于不确定性的选择无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别，常见缓解手段也无法可靠解决该失败模式。
研究针对基于 LLM 的代码生成中"错误程序却表现出与正确程序相当的 token 级置信度"这一过度自信困境，在四个开源代码模型和三个基于执行的基准上展开分析。结果显示，现有不确定性信号仅提供部分且依赖模型的执行失败证据，过度自信在程序级和 token 级均持续存在，基于不确定性的选择无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别，常见缓解手段也无法可靠解决该失败模式。