Hugging Face Daily Papers·· 5 天前精选AI 评分47
ReaDy：用循环状态为混合线性注意力模型做投机解码
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
AI 导读
ReaDy 提出一种投机解码方法，利用混合线性注意力（HLA）模型的循环状态为每个草稿位置检索位置相关的补充上下文，并通过轻量状态读取器以残差方式注入草稿表示。
推荐理由
论文提出用混合线性注意力的循环状态为投机解码检索上下文，在七个基准上给出吞吐与接受长度的对比数据。
来源：Hugging Face Daily Papers · huggingface.co