跳到正文
Hugging Face Daily Papers·· 1 天前精选AI 评分58

Specter:用量化多步投机卸载加速单 GPU MoE 推理

Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

AI 导读

Specter 是一个面向单 GPU MoE 推理的系统,把量化投机解码与专家卸载结合,用轻量量化草稿模型预测后续专家使用,提前组织专家搬运与执行以掩盖 PCIe 延迟。在单请求推理下,其每输出 token 耗时(TPOT)相对当前最优系统平均加速 1.50 倍,最高 1.88 倍。代码已开放在 https://github.com/wwwwwf/specter_asplos。

推荐理由

论文给出单 GPU 上 MoE 推理的量化投机卸载方案,并报告 TPOT 相对 SOTA 的平均与峰值加速比。

来源:Hugging Face Daily Papers · huggingface.co