论文提出 AIR 学习率调度，称优于余弦调度

论文作者提出 AIR（Affine Inverse-square-Root decay）学习率调度，将理论推导的 1/t 衰减与仿射调整结合，在有限训练周期内满足预设的峰值和终端学习率。作者称，在 128B token 的 MoE 预训练中，AIR 的训练损失、下游性能和超参鲁棒性均优于余弦等候选调度；在累计学习率相同的情况下，终端损失相对余弦降低约 0.01。 该方法的依据是：研究发现权重归一化训练的预训练损失增益主要来自诱导的有效学习率轨迹，而非归一化本身。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。