Hugging Face Daily Papers·· 3 天前AI 评分40
受约束解码有害还是有益?研究重新审视其对 LLM 性能的影响
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
AI 导读
论文重新审视受约束解码是否损害 LLM 推理,将其分为格式约束、有效性约束和推理约束三类,并从理论上说明适当约束可通过排除无效路径保持或提升性能。作者在四个模型家族、十一个开源模型上做因果消融,发现表面上的性能下降主要来自提示与输出格式不等价,而非解码层屏蔽;有效性约束提升可靠性与可提取性,推理约束在强制有益轨迹时可提升准确率。
来源:Hugging Face Daily Papers · huggingface.co