[论文解读] Spotlight: Mobile UI Understanding using Vision-Language Models with a Focus

Gang Li, Yang Li|arXiv (Cornell University)|Sep 29, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

Spotlight 提出了一种仅依赖视觉的移动UI理解方法，采用视觉语言模型聚焦于截图中的感兴趣区域，从而摆脱对不可靠视图层级的依赖。通过可扩展的预训练以及对微调、多任务学习和少样本提示的支持，该方法在多个UI任务上实现了最先进性能，优于依赖视图层级的方法。

ABSTRACT

Mobile UI understanding is important for enabling various interaction tasks such as UI automation and accessibility. Previous mobile UI modeling often depends on the view hierarchy information of a screen, which directly provides the structural data of the UI, with the hope to bypass challenging tasks of visual modeling from screen pixels. However, view hierarchies are not always available, and are often corrupted with missing object descriptions or misaligned structure information. As a result, despite the use of view hierarchies could offer short-term gains, it may ultimately hinder the applicability and performance of the model. In this paper, we propose Spotlight, a vision-only approach for mobile UI understanding. Specifically, we enhance a vision-language model that only takes the screenshot of the UI and a region of interest on the screen -- the focus -- as the input. This general architecture of Spotlight is easily scalable and capable of performing a range of UI modeling tasks. Our experiments show that our model establishes SoTA results on several representative UI tasks and outperforms previous methods that use both screenshots and view hierarchies as inputs. Furthermore, we explore multi-task learning and few-shot prompting capacities of the proposed models, demonstrating promising results in the multi-task learning direction.

研究动机与目标

• 解决移动UI理解中视图层级的局限性，例如对象描述缺失或损坏、结构错位等问题。
• 开发一种可扩展的、仅依赖视觉的移动UI建模方法，避免对视图层级数据的依赖。
• 通过统一的视觉语言模型架构与区域特定注意力机制，实现在多样化UI任务上的泛化能力。
• 探索多任务学习和少样本提示在低资源UI建模场景中的有效性。
• 证明当在大规模高质量视觉数据上进行训练时，视觉语言模型可超越混合视觉-视图层级模型。

提出的方法

• 增强视觉语言模型，引入一种区域感知注意力机制（区域汇总器），以聚焦于UI截图中的指定感兴趣区域。
• 在250万张移动UI截图和8000万张网页上进行预训练，以学习视觉-语言表征。
• 使用监督数据对特定任务（如控件描述、屏幕摘要和命令定位）进行微调。
• 通过共享视觉和语言编码器，联合训练多个UI任务，支持多任务学习。
• 在推理阶段通过提供少量标注示例实现少样本提示，无需重新训练。
• 使用视觉Transformer（ViT）进行视觉编码，使用基于T5的解码器进行文本生成，并将区域边界框作为条件输入。

实验结果

研究问题

• RQ1 仅依赖视觉的方法能否在移动UI理解中超越依赖视图层级的现有方法？
• RQ2 聚焦区域的视觉语言模型在捕捉UI任务相关的视觉和语言上下文方面有多有效？
• RQ3 多任务学习在多大程度上能提升对多样化UI建模任务的泛化能力？
• RQ4 少样本提示能否在仅使用少量标注样本的情况下实现对新UI任务的有效适应？
• RQ5 与从零开始训练相比，在大规模多样化UI和网页数据上进行预训练是否能显著提升下游性能？

主要发现

• Spotlight 在多个移动UI任务上实现了最先进性能，包括控件描述、屏幕摘要和命令定位，优于同时使用截图和视图层级的方法。
• L/16模型在使用五次少样本提示的控件描述任务中达到62.1%的准确率，相比零样本提示有微小提升。
• 更大的模型（如L/16）在少样本泛化方面优于更小的模型（如B/16），表明更高容量有助于更好的少样本适应。
• 消融实验表明，预训练显著提升了性能，微调模型明显优于从零开始训练的模型。
• 注意力可视化显示，模型能够同时关注目标区域和语义相关的周边元素，这在描述和摘要任务中得到验证。
• 尽管未输入视图层级信息，模型在各类任务上仍表现出良好泛化能力，表明大规模预训练带来了强大的迁移学习能力。