Hugging Face Daily Papers·2026-10-23 04:00· 12 天前精选AI 评分52

LEMS 与 KFAC-SVD 改进基于 SVD 的 LLM 压缩

Advancing SVD-based LLM Compression via Layer-Wise Error Model Search

AI 导读

论文提出分层误差建模搜索 LEMS 与 KFAC-SVD，用于改进低秩 SVD 的 LLM 压缩：LEMS 通过融合局部与全局层重要性及传播偏差的误差代理，以 ILP 形式完成全局秩分配；KFAC-SVD 用 token 级统计缓解此前 Fisher 类 SVD 方法的秩塌缩问题。

推荐理由

论文提出 LEMS 与 KFAC-SVD 两项改进，在 Mistral、Qwen3、Llama 3 上给出零样本精度与困惑度的量化提升，并公开代码。

来源：Hugging Face Daily Papers · huggingface.co