Hugging Face Daily Papers·· 3 天前精选AI 评分55
SpecOPD：面向投机解码的分支并行在线策略蒸馏
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
AI 导读
SpecOPD 提出分支并行的在线策略蒸馏框架，把草稿采样与目标监督分散到独立分支上并行执行，以提升投机解码的接受长度和训练吞吐。作者将分支打包成提议树共享目标前缀计算，并用 E2E-TV 代理目标直接优化接受长度。
推荐理由
论文把在线策略蒸馏的草稿采样拆成并行分支，并给出跨 8B 到 125B 目标模型的接受长度与吞吐数据。
来源：Hugging Face Daily Papers · huggingface.co