AgentVQA 离线智能体视觉基准发布

研究者提出并发布 AgentVQA，一个面向智能体视觉理解的离线基准，覆盖 Web Agents、机器人、第一视角视频、游戏和空间规划五个领域。基准从 23 个源数据集人工挑选 1000 个真实智能体样例构建。 在评测的 22 个模型中，最佳模型准确率仅为 58.5%。论文作者称，跨领域分析显示主要错误来自对当前和变化中视觉状态的定位与表征失败，包括定位相关 UI 元素、理解运动、跟踪状态变化和推断 3D 空间关系，而非任务理解或下游逻辑推理。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。