LoopVQ：循环 Transformer 的亚 1-bit KV Cache 量化

论文作者提出 LoopVQ，一种面向循环 Transformer 的 KV cache 向量量化方法：把多个循环步的通道联合编码，并微调码本以对齐全精度模型输出。 作者称，在每元素 0.5 bit 下，LoopVQ 在 Ouro 和 Huginn 模型的通用、长链式推理和长上下文检索任务上优于面向标准 LLM 的现有 KV cache 向量量化方法；与 TaSQ 结合后，在每元素 0.25 bit 下仍保留大部分 BF16 精度。作者还称已在 SGLang 中实现 LoopVQ，在 32K token 上下文下解码延迟接近减半，1.4B 和 2.6B Ouro 模型的峰值服务吞吐相比 BF16 基线最高提升 4.3 倍和 6.1 倍。这些效果均为作者报告。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。