[论文解读] You Only Look at Screens: Multimodal Chain-of-Action Agents

Zhuosheng Zhang, Aston Zhang|arXiv (Cornell University)|Sep 20, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 Auto-UI，一种多模态自主智能体，通过直接观察屏幕像素与用户界面交互，无需解析环境或使用特定应用的 API。它采用基于历史动作与未来计划的链式动作技术，提升动作预测性能，在 AITW 基准测试中实现 90% 的动作类型准确率与 74% 的成功率，且推理时间低于一秒。

ABSTRACT

Autonomous graphical user interface (GUI) agents aim to facilitate task automation by interacting with the user interface without manual intervention. Recent studies have investigated eliciting the capabilities of large language models (LLMs) for effective engagement in diverse environments. To align with the input-output requirement of LLMs, most existing approaches are developed under a sandbox setting where they rely on external tools and application-specific APIs to parse the environment into textual elements and interpret the predicted actions. Consequently, those approaches often grapple with inference inefficiency and error propagation risks. To mitigate the challenges, we introduce Auto-GUI, a multimodal solution that directly interacts with the interface, bypassing the need for environment parsing or reliance on application-dependent APIs. Moreover, we propose a chain-of-action technique -- leveraging a series of intermediate previous action histories and future action plans -- to help the agent decide what action to execute. We evaluate our approach on a new device-control benchmark AITW with 30$K$ unique instructions, spanning multi-step tasks such as application operation, web searching, and web shopping. Experimental results show that Auto-GUI achieves state-of-the-art performance with an action type prediction accuracy of 90\% and an overall action success rate of 74\%. Code is publicly available at https://github.com/cooelf/Auto-GUI.

研究动机与目标

• 开发一种可在屏幕界面上直接运行、无需依赖环境解析或特定应用 API 的自主界面智能体。
• 通过消除中间基于文本的环境表示，解决现有基于大语言模型的智能体在推理效率与误差传播方面的问题。
• 通过一种新颖的链式动作技术，整合历史动作与未来计划，提升动作预测的准确性。
• 实现在真实部署场景中对多样化界面任务（如应用操作、网页搜索与网络购物）的泛化能力。
• 实现高速推理，计算成本极低，适用于消费级硬件的实时部署。

提出的方法

• Auto-UI 使用视觉编码器（BLIP-2）处理原始屏幕图像，使用语言模型（FLAN-Alpaca）生成动作，实现与界面的直接多模态交互。
• 链式动作技术将历史动作记录与未来动作计划作为上下文，指导每一步的动作预测。
• 对动作预测应用坐标归一化，以提升基于屏幕交互的空间准确性。
• 在新的设备控制基准 AITW 上进行端到端训练，包含 30,000 条独特指令，涵盖多步骤任务。
• 统一模型在所有领域进行训练，同时对各领域分别评估泛化能力。
• 推理过程经过优化，实现单步动作预测时间低于一秒，且 GPU 显存占用低于 10GB。

实验结果

研究问题

• RQ1 自主智能体是否可在不依赖环境解析或特定应用 API 的情况下完成界面控制？
• RQ2 在多模态界面交互中，整合历史动作与未来计划如何提升动作预测的准确性？
• RQ3 与现有基于提示工程与微调的基线模型相比，直接观察屏幕的智能体在复杂多步骤任务中的表现如何？
• RQ4 该智能体在网页购物、应用操作与网页搜索等多样化界面领域中的泛化能力达到何种程度？
• RQ5 中等规模多模态智能体在实时界面控制中的推理效率与计算成本如何？

主要发现

• Auto-UI 在 AITW 基准测试中实现了 90% 的最先进动作类型预测准确率。
• 该智能体整体动作成功率达到 74%，优于现有基于提示工程与微调的基线模型。
• Auto-UI 每步动作的推理时间低于一秒，大型模型峰值 GPU 显存占用为 8.2GB。
• 与 8 位量化后的 Llama 2 相比，推理速度提升 15 倍，展现出极高的计算效率。
• 链式动作技术显著提升性能，消融实验证明其对准确率提升有关键贡献。
• 统一模型在各领域间泛化良好，在 AITW 基准测试未见子集上展现出强大的零样本迁移性能。