近零 token 嵌入会静默拖停门控序列模型训练

论文发现，在未绑定权重的门控语言模型中，近零输入嵌入会导致梯度极端放大和训练不稳定。作者调查 291 个开放权重模型仓库（280 张不同嵌入表），52.6% 的未绑定门控与混合 checkpoint（20/38）存在范数低于 10^{-6} 的可达输入嵌入，而权重绑定模型为 0%。