Hugging Face Daily Papers·· 4 天前精选AI 评分58
何时需要 On-Policy 蒸馏？用离线学生 rollout 蒸馏往往更好
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AI 导读
论文提出 Semi-OPD，即用初始学生模型生成的离线 rollout 做蒸馏，在 1.5B 到 235B 参数的 17 组师生模型中有 14 组优于 On-Policy 蒸馏（OPD），准确率最高提升 13.6%，训练速度最高提升 11.4 倍。
推荐理由
论文用 17 组师生模型对比给出 OPD 与 Semi-OPD 的适用边界，并给出可量化的判断指标。
来源：Hugging Face Daily Papers · huggingface.co