Hugging Face Daily Papers·· 2 天前精选AI 评分55
SPOT：通过预测提交顺序为扩散语言模型加速投机解码
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
论文提出 SPOT，一个仅 0.62M 参数的模型，只读取目标模型的输出分布来预测下一个要填充的位置，并一次性提出候选续写树，由目标模型单次通过状态相等完成验证，在 SDAR-8B 上最多减少 6.8 倍目标模型前向次数、吞吐量达标准解码的 3.4 倍。
推荐理由
论文指出扩散语言模型加速的关键在于预测提交顺序，并给出可跨模型迁移的轻量 drafter 方案。
来源：Hugging Face Daily Papers · huggingface.co