跳到正文
Hugging Face Daily Papers·· 5 天前精选AI 评分52

大语言模型查找表两比特量化:Conditional Program 压缩嵌入表

N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

AI 导读

论文提出 Conditional Program(CP),用共享重建程序、短码和局部缩放只重建输入请求的行,把语言模型嵌入表存储降低 75% 并提升保真度。CP 的两比特码相比 2-bit round-to-nearest 将输出 KL 降低 41–63%,在同等存储预算下优于拟合码本和低秩残差方案。

推荐理由

论文给出两比特量化嵌入表的具体压缩方案,并以 DeepSeek 的 203GB 到 51GB 作为可对照的规模参考。

来源:Hugging Face Daily Papers · huggingface.co