跳到正文
Hugging Face Daily Papers·· 3 天前精选AI 评分58

Soft-MTP:修正多 token 预测训练中的梯度缺陷

Multi-Token Prediction Done Right

AI 导读

研究指出标准多 token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度可分解为提升投机解码的 KL 自蒸馏项和低信噪比的残差项,后者会干扰下一 token 与多 token 学习。

推荐理由

论文指出标准 MTP 训练中的梯度缺陷,并给出只需一行代码的修正方案,附开源代码与多规模对比结果。

来源:Hugging Face Daily Papers · huggingface.co