Hugging Face Daily Papers·· 2 天前精选AI 评分52
研究提出用单一算法训练基础模型
Training Foundation Models with a Single Algorithm
AI 导读
一篇论文提出统一训练(unified training)框架,把预训练、midtraining、SFT 和 RL 等阶段统一到同一个基于似然的训练算法下,将各阶段的 RL 目标推导为对模型生成目标分布的最大似然拟合。作者在单一训练器中混合静态数据与 RL 生成,在受控和真实实验中称该方式改善了精度与算力的权衡和任务覆盖,同时保留更广泛能力,并为持续学习提供更好的起点。
推荐理由
论文把预训练、SFT 与 RL 统一到单一似然训练框架,读者可了解分阶段训练并非必要这一思路。
来源:Hugging Face Daily Papers · huggingface.co