Hugging Face Daily Papers·· 6 天前精选AI 评分45
DCOCO:为投机解码的并行草稿做上下文校正
Contextual Correction of Parallel Drafts for Speculative Decoding
AI 导读
论文提出 DCOCO(DFlash Contextual Corrector),一种轻量机制,用于在投机解码中恢复扩散式草稿块内被并行起草丢失的依赖关系。它不直接采用每个位置的最高预测,而是保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性,以较低额外开销完成上下文感知的 token 选择。
推荐理由
针对扩散式草稿并行起草丢失块内依赖的问题,给出可并行恢复上下文的轻量方案与多负载加速数据。
来源:Hugging Face Daily Papers · huggingface.co