Hugging Face Daily Papers·· 2 天前精选AI 评分52
离散 token 能否无损表示视觉信号?FVQ 让离散表示追平连续表示
Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
AI 导读
论文提出因子化向量量化(FVQ),用对称并行码本对视觉特征的互补固定维度视图做量化,缓解码本增加带来的语义饱和,使离散视觉 token 在多模态理解上追平连续表示。
推荐理由
论文重新审视量化误差导致语义损失的假设,提出并行码本的因子化向量量化,使离散视觉 token 在多模态理解上追平连续表示。
来源:Hugging Face Daily Papers · huggingface.co