混合模态检索器中的模态偏好:文本中的混沌
研究发现密集检索器性能对模态组成高度敏感:当图像文档被语义对应的文本逐步替换时,检索性能呈明显 V 型曲线,单模态语料表现强劲,模态共存时显著下降。无关文本比等量无关图像造成更严重的性能退化,研究者称之为"文本中的混沌",其根源是文本表示获得系统性更高的相似度分数。
研究发现密集检索器性能对模态组成高度敏感:当图像文档被语义对应的文本逐步替换时,检索性能呈明显 V 型曲线,单模态语料表现强劲,模态共存时显著下降。无关文本比等量无关图像造成更严重的性能退化,研究者称之为"文本中的混沌",其根源是文本表示获得系统性更高的相似度分数。