arXiv cs.SE· Oliver Wei{\ss}l, Eduardo Breitembach, Andrea Stocco·· 2 小时前AI 评分26
MoST：面向视觉语言模型模态敏感性的搜索式测试框架
Search-Based Testing of Modality Sensitivity in Vision Language Models
AI 导读
研究者提出黑盒测试框架 MoST，通过多目标搜索组合图像、文本及联合扰动，刻画视觉语言模型的模态敏感性。在 ImageNet 和驾驶图像的目标定位任务上测试四个 VLM，发现部分模型对文本扰动更敏感，另一些则在两种模态上都易受影响；多种配置下联合扰动以更小的单模态改动达到或超过单模态扰动的效果。人类研究中 60-76% 的评估认为扰动后输入仍可理解，且人类定位比对应 VLM 更准确。
来源：arXiv cs.SE · arxiv.org