研究揭示混合架构中的竞争学习现象并提出分阶段训练

论文指出混合语言模型存在循环层与 softmax 注意力层之间的竞争学习现象，不同 mixer 争夺学习同一函数，任一层学会后就会抑制其他层对应的学习信号。层归因分析显示现代循环层在典型数据分布下比注意力更快学会检索函数，导致注意力在多数情况下学不会检索；在训练中途停止循环层的权重更新可帮助注意力学会检索。