ThinkBit 提出保推理的二比特量化框架

论文作者提出并发布 ThinkBit，一个严格标量的二比特量化框架，目标是保留推理模型的推理能力。其做法是：每个权重表示为整数码字乘以一组权重共享的 bfloat16 尺度；按层分配三值、2-bit 或 3-bit 位宽，用 Gumbel-softmax 逐块搜索码字，并基于知识蒸馏重校准尺度、做短程 QAT。 上述效果均为作者在论文中的表述，报道未给出独立验证结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。