Hugging Face Daily Papers·· 5 天前精选AI 评分58
冻结 16 MB 词表替代可学习嵌入表，小模型与三值模型性能持平
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
AI 导读
论文提出用一张 512-bit 编码、16 MB、无可训练参数的冻结词表替代可学习嵌入表，该词表由预训练嵌入经主成分投影和符号二值化一次性生成。
推荐理由
论文用同数据同架构的对照实验，量化冻结词表在小模型上省下的参数与推理开销，并公开权重和数据。
来源：Hugging Face Daily Papers · huggingface.co