Hugging Face Daily Papers·· 2 天前精选AI 评分60
ThinkBit：用码字搜索与尺度重校准实现保留推理能力的二比特量化
ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
AI 导读
ThinkBit 是一个严格标量的二比特量化框架，通过按层分配三值、2-bit 或 3-bit 位宽、用 Gumbel-softmax 逐块搜索码字、基于知识蒸馏重校准尺度并做短程 QAT，来保留推理模型的推理能力。
推荐理由
论文给出二比特量化在推理任务上的分层位宽与重校准流程，并附与 bfloat16 及现有 2-bit GGUF 的对比数据。
来源：Hugging Face Daily Papers · huggingface.co