跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分67

EmbeddingGemma 2 发布:统一文本、图像、音频与视频的多模态嵌入模型

EmbeddingGemma 2: Unified and Efficient Multimodal Representations

AI 导读

Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可在统一空间中原生表示文本、图像、音频、视频及其组合。论文称其在覆盖各模态的嵌入基准上建立新的帕累托前沿,优于专用模型和规模大 2 至 12 倍的模型。该模型支持按需加载模态编码器、可调视觉 token 预算、可截断嵌入维度和量化权重,以适应资源受限环境,并已开放 0.7B 版本权重。

推荐理由

论文给出统一多模态嵌入模型的设计取舍与消融,并对比专用模型和更大规模模型的表现。

来源:Hugging Face Daily Papers · huggingface.co