长时程强化学习需要 Muon：单轨迹异步训练配方研究

论文研究长时程智能体的强化学习训练，提出结合 Muon 优化器、token 平均损失、截断重要性采样以及长度和工具错误惩罚的单轨迹异步配方。单轨迹采样让异步学习无需等待同一问题的多条轨迹，作者在两个模型家族上考察优化器选择与配方组件，用于仓库级问题解决。评估的训练运行显示，完整配方的训练成功率高于基线。