LM2LM：让语言模型学会改进语言模型

研究提出 LM2LM，用强化学习训练 LLM 生成有效的语言模型改进方案，并以冻结的研究世界模型（RWM）预测提案收益作为奖励，降低真实训练评估的成本。为保持反馈可靠，该方法会定期真实执行 RWM 排名靠前的提案，并把实测结果加入其上下文。