跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分45

FocusGUI:面向全模态 GUI 智能体的聚焦感知适配器

Focused Omni-Modal GUI Agents

AI 导读

论文提出 FocusGUI,一个轻量适配器,针对每一步决策动态筛选相关的多模态证据,压缩为紧凑潜表示后注入冻结解码器的嵌入向量,从而避免无关上下文带来的误差累积,且无需微调主干。该方法仅依赖动作监督训练,不需要模态相关性标签;在四个全模态主干上,平均 Type Match 比冻结主干提升 33.2,Exact Match 提升 3.0 倍,Type Match 比现有最强增强方法高 30.1。

推荐理由

论文提出轻量适配器按步骤筛选多模态证据,无需微调主干即可提升 GUI 智能体动作准确率。

来源:Hugging Face Daily Papers · huggingface.co