Hugging Face Daily Papers·· 2 天前AI 评分40
S3AC：面向 LLM 推理的稳定选择性可扩展 Actor-Critic 方法
S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
AI 导读
S3AC 提出一种带难度感知提示采样的稳定 actor-critic 训练方法，用于提升大语言模型的长链推理，且不依赖分组 rollout。该方法训练出的 critic 提供 token 级优势和提示级基线，并据此提出 Difficulty-Aware Prompt Sampling（DAPS），在生成前结合结果历史选择提示以减少 rollout 浪费。
来源：Hugging Face Daily Papers · huggingface.co