Hugging Face Blog·· 6 小时前精选AI 评分71
VocabX 如何通过词表专门化将小模型推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma-AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文，该方法按 token 成本而非出现频次重建领域模型词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上将平均回复从 350 个 token 降到 101 个，实测推理成本下降 77.0%，bench 分数从 0.703 升到 0.810。
推荐理由
原文给出词表按成本而非频次重建的完整方法与实测数据，读者可据此判断小模型领域化部署的成本空间。
来源：Hugging Face Blog · huggingface.co