Hugging Face Daily Papers·· 2 天前AI 评分27
Proximal KL：面向 Off-Policy RLVR 的 Token 级重要性采样方法
Enabling Token-wise Importance Sampling in Off-Policy RLVR with Proximal KL Regularization
AI 导读
研究者提出 Proximal KL，一种 off-policy RLVR 方法，将近端参考策略与采样策略分离，并用有界未来 KL 信用替代 PPO 裁剪。在 Qwen3-1.7B 和 Qwen3-4B 的七组匹配 off-policy 对比中，其八项数学基准微平均准确率最高超过 GRPO 2.58%。
来源：Hugging Face Daily Papers · huggingface.co