研究揭示混合架构竞争学习并提出分阶段训练

一项研究指出，混合语言模型中的循环层与 softmax 注意力层存在竞争学习现象：不同 mixer 争夺学习同一函数，任一层先学会后就会抑制其他层对应的学习信号。层归因分析显示，现代循环层在典型数据分布下比注意力更快学会检索函数，导致注意力在多数情况下学不会检索。 论文作者据此提出分阶段训练方法，用于混合架构的自然语言预训练：在训练中途停止循环层的权重更新，可帮助注意力学会检索。该结论来自作者的实验与归因分析，分阶段训练的实际效果尚待进一步验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。