跳到正文
Hugging Face Daily Papers·· 14 天前精选AI 评分48

ProVe:反转投机解码角色的提议者-验证者解码方法

ProVe: Proposer-Verifier Decoding

AI 导读

ProVe 反转投机解码的角色分工,把大模型微调成一次前向预测整块 token 的提议者,再用一次前向完成验证。验证者可以是更小的 AR 模型,也可以是提议者自身,后者称为 ProVe-lossless,可复现提议者的贪心 AR 解码。

推荐理由

论文反转投机解码的角色分工,用32B模型做提议者给出吞吐与精度的可调权衡数据。

来源:Hugging Face Daily Papers · huggingface.co