权重归一化训练中的有效学习率调度：AIR 调度优于余弦调度

研究发现权重归一化（WN）训练的预训练损失增益主要来自诱导的有效学习率（ELR）轨迹，而非归一化本身。据此提出 AIR（Affine Inverse-square-Root decay）调度，在 128B token 的 MoE 预训练中，训练损失、下游性能和超参鲁棒性均优于余弦等候选调度，匹配累计学习率下终端损失相对余弦降低约 0.01。