Hugging Face Daily Papers·· 2 天前精选AI 评分55
LoopVQ：面向循环 Transformer 的亚 1-bit KV Cache 量化
LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
AI 导读
LoopVQ 是一种面向循环 Transformer 的 KV cache 向量量化方法，它把多个循环步的通道联合编码，并微调码本以对齐全精度模型输出。
推荐理由
针对循环 Transformer 的 KV cache 冗余问题提出联合量化方法，并给出在 SGLang 中的实测加速数据。
来源：Hugging Face Daily Papers · huggingface.co