GUI-explorer：一种用于 GUI Agent 的自主探索和转移感知知识挖掘方法

核心思想：

GUI-explorer 提出了一种训练无关的 GUI Agent，通过自主探索和非监督的转移感知知识挖掘来解决多模态大语言模型 (MLLMs) 在 GUI 自动化中面临的挑战，特别是 UI 组件误解和知识过时问题。

关键概念/事实：

1. GUI 自动化挑战：

• MLLMs 在理解多样化应用 UI 元素时存在困难，可能误解其功能。图 1 中的 QQ 音乐截图示例显示，GPT-4o 错误地将音乐识别按钮识别为“音乐播放器或音频设置”。
• 应用/网站的快速迭代导致静态模型知识迅速过时。例如，亚马逊购物应用在 2024 年发布了 30 个版本迭代。
• 传统微调方法在应对应用特定知识更新时成本过高。

1. GUI-explorer 方法：

• 自主探索功能感知轨迹 (Autonomous Exploration of Function-aware Trajectory)：设计了一个功能感知任务目标生成器 (Function-aware Task Goal Generator)，通过分析 GUI 结构信息（如截图和活动层次结构）自动构建探索目标。
• 利用环境特定的结构先验（例如 Android Manifest 文件中声明的活动 Activity）作为探索锚点，指导任务生成，防止模型提议针对不存在组件的行动。图 2(a) 展示了该组件。
• 采用深度优先搜索 (DFS) 进行系统探索，收集多样的功能感知轨迹。
• 非监督挖掘转移感知知识 (Unsupervised Mining of Transition-aware Knowledge)：开发了一个转移感知知识提取器 (Transition-aware Knowledge Extractor)，通过非监督分析结构化交互三元组（观察、行动、结果）的状态转移，提取有效的屏幕操作逻辑。图 2(b) 展示了该组件。
• 该方法只需要有效的状态转移，无需成功的轨迹或人工标注。通过“转移过滤 (Transition Filtering)”机制过滤无效状态转移（观察变化不明显的）。
• 构建一个多模态索引的知识向量库 K，通过视觉模式和语义模式捕获操作约束和结果依赖关系。
• 实现持续的知识细化，新的探索可以迭代更新知识库。
• 动态引导 (Dynamic Guidance)：在 Agent 任务执行过程中，通过视觉-语义检索将转移感知知识连接到实时任务执行。图 2(c) 展示了动态引导机制。
• 利用基于 MLLM 的知识排序器对检索到的知识进行指令感知排序，生成动态引导提示，指导 Agent 理解和与 GUI 元素交互。

1. GUI-知识推理基准 (GUI-KRB)：

• 引入了一个新的基准 GUI-KRB，用于评估 MLLMs 在移动环境中对 GUI 的理解能力，包括先验知识准确性 (Prior Knowledge Accuracy) 和动态理解能力 (Dynamic Comprehension)。
• GUI-KRB 包含 500 个精心挑选的样本，涵盖 43 个应用和 8 个类别。图 5 显示了应用类别分布。
• 评估标准是响应包含至少 50% 的专家标注关键词即视为正确。附录 C 提供了样本数据示例。
• 评估结果显示，当前 MLLMs 存在明显的局限性，例如 GPT-4o 的先验知识错误率为 18.2%。GUI-explorer 将错误率显著降低。表 4 比较了不同模型在 GUI-KRB 上的表现。

1. 实验结果：

• 在 SPA-Bench 和 AndroidWorld 基准测试中，GUI-explorer 均取得了显著优于现有 SOTA Agent 的性能。
• 在 SPA-Bench Level 3 任务中，GUI-explorer 达到 53.7% 的成功率，比 SOTA 提高了 28.1%。表 1 列出了 SPA-Bench 的结果。
• 在 AndroidWorld 中，GUI-explorer 达到 47.4% 的成功率，超过了 Aria-UI (44.8%) 和 M3A (40.5%)。表 3 列出了 AndroidWorld 的结果。
• GUI-KRB 评估验证了转移感知知识的有效性，将错误率降低了 16.0%。

1. 消融研究 (Ablation Study)：

• 消融研究（图 4）表明，动态引导机制至关重要，移除后性能下降 12.2%。
• 跨环境引导（使用在 AndroidWorld 探索获得的知识指导 SPA-Bench 任务）相比无引导提高了 4.3%，证明了转移感知知识的泛化能力。

1. 计算开销和效率：

• 计算开销分析（表 2）显示，排序组件占据了大部分时间（42.9%），主要源于 MLLM 的成对比较。
• 然而，采用了改进的归并排序算法，确保 O(n log n) 的复杂度，实际成本可接受（平均每步骤 0.0015 USD）。
• 知识排序器不仅提高了准确性（表 4），同时也带来了计算开销。

1. 局限性：

• 当前的探索锚点依赖于移动应用的 Manifest 文件声明，限制了直接应用于 Web 和桌面环境。
• 知识排序器仍然相对较慢（平均每步骤 28.5 秒）。

1. 伦理声明：

• 强调了 AI 驱动交互系统的伦理考虑，包括不收集用户隐私数据、模型可能存在的偏见风险、计算成本的环境问题以及恶意使用的双重风险。
• 呼吁在实际部署中进行人工监督，尤其是在敏感应用领域。

总结：

GUI-explorer 通过创新的自主探索和非监督知识挖掘方法，有效地提升了 GUI Agent 在复杂和动态环境下的性能，显著优于现有技术。GUI-KRB 基准测试揭示了当前 MLLMs 在 GUI 理解方面的基础性局限，并证明了 GUI-explorer 提出的转移感知知识和动态引导机制能有效缓解这些问题。尽管仍存在平台泛化和效率方面的挑战，GUI-explorer 为构建更智能、更稳健的 GUI 自动化 Agent 提供了重要的前进方向。