Hugging Face Daily Papers·· 5 天前精选AI 评分69
OPTIC 用跨层隐向量量化实现逐层嵌入约 100 倍压缩
Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
AI 导读
论文提出 OPTIC，为每个 token 生成一个跨所有层共享的量化码，再由层专属仿射解码器重建各层 PLE 向量，在 Gemma 4 E4B 上实现约 100 倍 PLE 压缩。
推荐理由
在 Gemma 4 E4B 上把逐层嵌入压到约 100 倍仍保留 97.8% 性能，并给出显存与延迟的实测代价。
来源：Hugging Face Daily Papers · huggingface.co