跳到正文
Hugging Face Daily Papers·· 4 天前精选AI 评分50

ACT3D:用强化学习让视觉语言模型在 3D 环境中主动探索

Learning to Think and Explore in 3D World

AI 导读

论文提出 ACT3D,通过强化学习训练视觉语言模型从单张第一人称视角图像出发,主动在 3D 环境中导航探索后再作答,且不对探索路径或动作提供直接监督。在六个 3D 基准上平均准确率 53.2%,比基座 Qwen 模型提升 22.0%,超过 Gemini 3.6 Flash,并在输入帧数减少 50-70% 的情况下优于现有开源 3D 方法。

推荐理由

论文给出无需探索监督的强化学习训练方式,并量化了探索型问题上的增益差异,可供关注 VLM 空间推理的研究者参考。

来源:Hugging Face Daily Papers · huggingface.co