VASPO：用特权价值估计做自蒸馏的策略优化方法

VASPO 将自教师与 critic 整合进 PPO，用 token 级优势和有界概率比提升推理能力。在六个数学推理基准上，VASPO 使 Qwen3-4B 和 OLMo3-7B 的平均准确率较 PPO 分别提升 2.59 和 1.81 个百分点，并在 Knights and Knaves 上取得所评估方法中的最高平均准确率。代码已开源。