Hugging Face Daily Papers·· 3 天前精选AI 评分58
Soft-MTP:修正多 token 预测训练中的梯度缺陷
Multi-Token Prediction Done Right
AI 导读
研究指出标准多 token 预测(MTP)训练存在梯度缺陷:MTP 交叉熵梯度可分解为提升投机解码的 KL 自蒸馏项和低信噪比的残差项,后者会干扰下一 token 与多 token 学习。
推荐理由
论文指出标准 MTP 训练中的梯度缺陷,并给出只需一行代码的修正方案,附开源代码与多规模对比结果。
来源:Hugging Face Daily Papers · huggingface.co