[论文解读] Unblind Your Apps: Predicting Natural-Language Labels for Mobile GUI Components by Deep Learning

Jieshan Chen, Chunyang Chen+5 more|arXiv (Cornell University)|Mar 1, 2020

Tactile and Sensory Interactions参考文献 58被引用 7

一句话总结

本文提出 LabelDroid，一种结合 CNN 与 Transformer 编码器-解码器架构的深度学习模型，可自动预测 Android 应用中基于图像的 GUI 组件的自然语言标签。该模型在 Google Play 上大规模商业应用上进行训练，生成的标签质量高且简洁，优于真实 Android 开发者所创建的标签，有效解决了超过 77% 被分析应用中缺失标签这一关键可访问性问题。

ABSTRACT

According to the World Health Organization(WHO), it is estimated that approximately 1.3 billion people live with some forms of vision impairment globally, of whom 36 million are blind. Due to their disability, engaging these minority into the society is a challenging problem. The recent rise of smart mobile phones provides a new solution by enabling blind users' convenient access to the information and service for understanding the world. Users with vision impairment can adopt the screen reader embedded in the mobile operating systems to read the content of each screen within the app, and use gestures to interact with the phone. However, the prerequisite of using screen readers is that developers have to add natural-language labels to the image-based components when they are developing the app. Unfortunately, more than 77% apps have issues of missing labels, according to our analysis of 10,408 Android apps. Most of these issues are caused by developers' lack of awareness and knowledge in considering the minority. And even if developers want to add the labels to UI components, they may not come up with concise and clear description as most of them are of no visual issues. To overcome these challenges, we develop a deep-learning based model, called LabelDroid, to automatically predict the labels of image-based buttons by learning from large-scale commercial apps in Google Play. The experimental results show that our model can make accurate predictions and the generated labels are of higher quality than that from real Android developers.

研究动机与目标

• 解决 Android 应用中基于图像的 UI 组件普遍缺失自然语言标签的问题，该问题会阻碍视障用户的屏幕阅读器功能。
• 减轻开发人员因缺乏意识或专业知识而难以编写有效可访问性标签的负担。
• 开发一种主动的自动化解决方案，为基于图像的按钮准确预测有意义的标签，补充现有被动的测试工具。
• 通过基于 GUI 组件的视觉和上下文特征自动生成功能，实现大规模提升应用可访问性。

提出的方法

• 该模型使用卷积神经网络（CNN）从基于图像的 GUI 组件中提取视觉特征。
• 基于 Transformer 的编码器-解码器架构以端到端方式处理视觉嵌入，并生成自然语言标签。
• 该模型在从 Google Play 收集的 10,408 个 Android 应用的大规模数据集上进行训练，重点关注无可见文本的基于图像的按钮。
• 训练过程通过最小化预测标签与真实标签之间的交叉熵损失进行，注意力机制支持上下文感知的标签生成。
• 该方法结合了来自应用 UI 结构的视觉外观与上下文信息，以提升标签的相关性与清晰度。
• 通过人工评估与自动化指标对模型进行评估，将预测结果与真实 Android 开发者编写的标签进行对比。

实验结果

研究问题

• RQ1 深度学习模型能否准确预测移动应用中基于图像的 GUI 组件的自然语言标签？
• RQ2 自动生成功能描述的质量与真实 Android 开发者编写的标签相比如何？
• RQ3 该模型在真实世界商业应用中多样化的应用类型与视觉设计上，其泛化能力如何？
• RQ4 该模型能否作为主动解决方案，减少因缺失标签导致的可访问性问题？

主要发现

• 在分析的 10,408 个 Android 应用中，超过 77% 的应用至少存在一个无自然语言标签的基于图像的按钮，表明存在广泛可访问性问题。
• 在人工评估中，LabelDroid 模型生成的标签质量被评定为高于真实 Android 开发者所编写的标签。
• 该模型在生成简洁、信息丰富且语义准确的基于图像的 UI 组件标签方面表现出色。
• 通过 CNN 提取视觉特征并结合 Transformer 进行上下文建模，显著提升了标签的相关性与清晰度。
• 该模型展现出作为主动可访问性保障工具的潜力，可补充现有的被动测试框架（如 Android Lint 和 Accessibility Scanner）。