Hugging Face Daily Papers·· 1 天前AI 评分32
MRTPO:面向多奖励强化学习的奖励特定 Token 级信用分配
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
AI 导读
MRTPO 通过基于回放的相关性度量,将每个奖励的优势只分配给与其相关的 token,无需辅助模型或 token 级标注。该方法让策略在带与不带某奖励验证器信息两种情况下回放自身回复,用逐 token 的 Jensen-Shannon 距离衡量相关性并重新分配优势。在 text-to-SQL、多约束指令遵循和工具调用任务上,MRTPO 相比对比方法收敛更快、性能更好。
来源:Hugging Face Daily Papers · huggingface.co