研究揭示混合模态检索器的模态偏好

一项新发表的研究发现，密集检索器的性能对语料的模态组成高度敏感：当图像文档被语义对应的文本逐步替换时，检索性能呈明显的 V 型曲线——单模态语料表现强劲，而图像与文本共存时性能显著下降。 研究还发现，无关文本比等量无关图像造成更严重的性能退化，作者将这一现象称为“文本中的混沌”，认为其根源在于文本表示会获得系统性更高的相似度分数。论文同时提出了名为 Trident 的方法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。