跳到正文
Hugging Face Daily Papers·· 1 天前精选AI 评分58

SleuthVLM:全模态视频理解是否真需要音频输入

SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?

AI 导读

SleuthVLM 提出一种基于 VLM 的智能体框架,不直接听音频,而是把语音转写成文本,让 VLM 自主排查视频内容,在四个视频时长最长 90 分钟的全模态基准上取得 75.0% 的平均准确率,比 Gemini 3.8 Flash 高 2.6 个百分点,并以 77.8% 登顶 Video-MME-v2 榜单。

推荐理由

论文用四个全模态基准对比说明,长视频理解的关键瓶颈在智能体推理能力而非音频输入。

来源:Hugging Face Daily Papers · huggingface.co