研究拆解扩散语言模型解掩码策略

论文作者对掩码扩散语言模型的学习式解掩码策略做了受控拆解，发现以最终输出为标签在低 NFE（函数评估次数）下过于宽松，隐藏状态单独使用较弱但可补充置信度。作者据此用轨迹收缩目标训练策略。 在 LLaDA-8B-Instruct 上，仅 856K 参数的策略取得最佳精度-NFE 前沿与最高吞吐，并可迁移到 Dream-7B-Instruct；约 10% 的 NFE 降幅即可抵消最高 7.5M 参数策略的开销。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。