跳到正文
热点事件持续更新

MoST:VLM 模态敏感性黑盒测试框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Oliver Weißl 等作者提出黑盒测试框架 MoST,通过多目标搜索组合图像、文本及联合扰动,比较视觉语言模型对单一模态和联合扰动的敏感性。 在 ImageNet 和驾驶图像的目标定位任务上测试四个 VLM,结果显示部分模型对文本扰动更敏感,另一些在两种模态上都易受影响;多种配置下联合扰动以更小的单模态改动达到或超过单模态扰动的效果。 人类研究中 60-76% 的评估认为扰动后输入仍可理解,且人类定位比对应 VLM 更准确。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.SE
    MoST:面向视觉语言模型模态敏感性的搜索式测试框架

    研究者提出黑盒测试框架 MoST,通过多目标搜索组合图像、文本及联合扰动,刻画视觉语言模型的模态敏感性。在 ImageNet 和驾驶图像的目标定位任务上测试四个 VLM,发现部分模型对文本扰动更敏感,另一些则在两种模态上都易受影响;多种配置下联合扰动以更小的单模态改动达到或超过单模态扰动的效果。人类研究中 60-76% 的评估认为扰动后输入仍可理解,且人类定位比对应 VLM 更准确。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。