Hugging Face Daily Papers·· 6 天前精选AI 评分60
研究发现公共模型库中部分量化 LLM 文件无法正常工作
Broken on Arrival: Non-Functional Quantized LLM Artifacts in Public Model Registries and How to Catch Them
AI 导读
研究测试了 Ollama 官方库中 305 个支持代码的 GGUF 标签（覆盖 15 个模型系列）以及 22 个 Hugging Face 社区文件，发现 7 个官方标签（2.3%）在 HumanEval+ 的 164 个任务中最多只解出 6 个，且全部是参数量不超过 40 亿的模型的低比特量化版本。
推荐理由
审计覆盖 Ollama 与 Hugging Face 上的量化文件，指出可复现不等于可用，并给出筛查工具。
来源：Hugging Face Daily Papers · huggingface.co