[论文解读] Multimodal Web Navigation with Instruction-Finetuned Foundation Models

Hiroki Furuta, Kuang-Huei Lee+5 more|arXiv (Cornell University)|May 19, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出 WebGUM，一种经过指令微调的多模态智能体，结合视觉-语言基础模型，并对视觉编码器和指令微调的语言模型进行联合微调，以利用 HTML 和截图输入执行基于事实的多模态网页导航。WebGUM 在一个包含 347K 个样本的数据集上完全离线训练，在 MiniWoB++ 上相比之前的离线方法性能提升 45.8%，并超越了在线微调的 SOTA 模型、GPT-4 智能体以及人类表现。

ABSTRACT

The progress of autonomous web navigation has been hindered by the dependence on billions of exploratory interactions via online reinforcement learning, and domain-specific model designs that make it difficult to leverage generalization from rich out-of-domain data. In this work, we study data-driven offline training for web agents with vision-language foundation models. We propose an instruction-following multimodal agent, WebGUM, that observes both webpage screenshots and HTML pages and outputs web navigation actions, such as click and type. WebGUM is trained by jointly finetuning an instruction-finetuned language model and a vision encoder with temporal and local perception on a large corpus of demonstrations. We empirically demonstrate this recipe improves the agent's ability of grounded multimodal perception, HTML comprehension, and multi-step reasoning, outperforming prior works by a significant margin. On the MiniWoB, we improve over the previous best offline methods by more than 45.8%, even outperforming online-finetuned SoTA, humans, and GPT-4-based agent. On the WebShop benchmark, our 3-billion-parameter model achieves superior performance to the existing SoTA, PaLM-540B. Furthermore, WebGUM exhibits strong positive transfer to the real-world planning tasks on the Mind2Web. We also collect 347K high-quality demonstrations using our trained models, 38 times larger than prior work, and make them available to promote future research in this direction.

研究动机与目标

• 为解决在线强化学习在网页导航中面临的局限性，即需要大量试错且存在真实世界失败的风险。
• 通过利用包含视觉和结构化网页输入的大规模高质量演示数据，实现安全、数据驱动的离线训练，以支持网页智能体的训练。
• 通过视觉和语言模型的联合微调，提升网页智能体在多模态感知、HTML 理解和多步推理方面的能力。
• 开发一种可泛化、开放式网页导航智能体，支持自由形式的动作生成，不同于以往受限于固定动作集合的模型。
• 通过发布一个包含 347K 个样本、高质量的多模态网页导航数据集，促进未来研究，该数据集规模是之前工作的 38 倍。

提出的方法

• WebGUM 使用视觉编码器（ViT）和指令微调的大规模语言模型（LLM）来处理网页截图和 HTML DOM 结构。
• 该模型在大规模多模态演示数据集上进行联合微调，数据集包含配对的截图和 HTML，重点在于时间感知和局部感知。
• 它利用指令微调的 LLM 来提升指令遵循行为，实现对多模态输入的基于事实的推理。
• 该智能体以自由形式的文本生成动作，例如“点击 ref=12 的元素”或“输入 [e-mail]”，从而实现开放式的导航。
• 训练方案通过结合视觉和语言编码器生成的语义丰富标记与时间上下文，强调基于事实的多模态理解。
• 该方法避免使用特定任务的架构（如 GNN、LSTM），而是依赖基础模型实现对多样化网页任务的泛化能力。

Figure 1: Example episode on MiniWoB++ (Shi et al., 2017 ; Liu et al., 2018 ) ( email-inbox-forward-nl ). The agent clicks the email from the proper sender, and types the correct receiver to forward that email, to satisfy the given instruction (e.g. Find Gisele’s email and forward it to Siana, pleas

实验结果

研究问题

• RQ1 经过指令微调的基础模型，若结合多模态输入（图像和 HTML），是否能超越先前的离线网页导航智能体？
• RQ2 视觉和语言编码器的联合微调是否能提升网页导航中的基于事实感知和多步推理能力？
• RQ3 一个完全离线训练的智能体是否能超越在线微调的 SOTA 模型，甚至超越人类表现？
• RQ4 该模型在真实世界、分布外的任务（如 Mind2Web 基准）中的泛化能力如何？
• RQ5 演示数据集的规模和质量在多大程度上影响智能体的性能和泛化能力？

主要发现

• WebGUM 在 MiniWoB++ 上相比之前最佳的离线方法性能提升 45.8%，在离线设置中达到最先进水平。
• 尽管完全离线训练，WebGUM 的表现仍优于在线微调的 SOTA 智能体，包括基于 GPT-4 的模型以及人类在 MiniWoB++ 上的表现。
• 在 WebShop 基准测试中，WebGUM 的 30 亿参数模型超越了 5400 亿参数的 PaLM-540B，展现出强大的参数效率。
• 该模型在 Mind2Web 基准的真实世界规划任务中表现出显著的正向迁移能力，表明其对未见的复杂网页任务具有强大的泛化能力。
• 作者收集并发布了包含 347K 个样本的多模态数据集（是之前工作的 38 倍），使得高质量、安全且可扩展的网页智能体训练成为可能。
• 消融实验证实，视觉和语言编码器与指令微调的联合微调能显著提升对多模态输入的基于事实感知和推理能力。

Figure 2: Overview of WebGUM, our multimodal encoder-decoder model. It takes screenshots, action history, instruction, and HTML as inputs. Image observations are embedded to tokens via pre-trained vision transformer (ViT) (Dosovitskiy et al., 2020 ) . Visual tokens contain rich temporal information