什么才是好的解掩码策略？扩散语言模型学习式解掩码的受控研究

研究对掩码扩散语言模型的学习式解掩码策略做了受控拆解，发现以最终输出为标签在低 NFE 下过于宽松，隐藏状态单独使用较弱但可补充置信度。作者据此用轨迹收缩目标训练策略，在 LLaDA-8B-Instruct 上仅 856K 参数的策略取得最佳精度-NFE 前沿与最高吞吐，并可迁移到 Dream-7B-Instruct。约 10% 的 NFE 降幅即可抵消最高 7.5M 参数策略的开销。