[论文解读] Reimagining Application User Interface (UI) Design using Deep Learning Methods: Challenges and Opportunities

Subtain Malik, Muhammad Tariq Saeed Chani+4 more|arXiv (Cornell University)|Mar 23, 2023

Innovative Human-Technology Interaction被引用 4

一句话总结

本文综述了卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）和自编码器等深度学习（DL）方法在用户界面（UI）设计自动化中的应用，识别出诸如跨平台数据集有限和可解释性低等关键挑战。本文提出了一套统一的、开源的基于深度学习的UI自动化框架，以简化设计生成、测试，并与Android Studio和Sketch等工具的集成。

ABSTRACT

In this paper, we present a review of the recent work in deep learning methods for user interface design. The survey encompasses well known deep learning techniques (deep neural networks, convolutional neural networks, recurrent neural networks, autoencoders, and generative adversarial networks) and datasets widely used to design user interface applications. We highlight important problems and emerging research frontiers in this field. We believe that the use of deep learning for user interface design automation tasks could be one of the high potential fields for the advancement of the software development industry.

研究动机与目标

• 分析深度学习在用户界面（UI）设计自动化中的当前应用状态。
• 识别现有研究中的关键缺口，特别是缺乏跨平台UI数据集和可解释模型的问题。
• 提出一个集中化、开源的深度学习框架，实现在各平台上的端到端UI设计自动化。
• 探索将深度学习模型集成到Android Studio和Visual Studio等主流软件开发工具中的方法。
• 推动UI生成技术超越静态图像，实现基于自然语言处理（NLP）和GAN的代码合成与动态组件控制。

提出的方法

• 基于关键词‘deep learning’ + ‘user interface’或‘user interface design’，从Google Scholar检索374篇相关论文并进行元分析。
• 审查ACM Transactions on Graphics、IEEE TPAMI和CHI等期刊与会议，重点关注深度学习在UI/UX设计中的应用。
• 调研广泛使用的深度学习架构：深度神经网络、CNN、RNN、自编码器和GAN，用于UI设计任务。
• 评估现有数据集，指出尽管Android平台已有可用数据，但iOS、桌面和Web UI设计的数据仍严重匮乏。
• 提出一个集中化、开源的框架，集成深度学习模型以实现元素级和布局级的UI生成。
• 探索利用文本到图像转换和自然语言处理（NLP）模型，将自然语言描述转化为UI组件和代码。

实验结果

研究问题

• RQ1 哪些深度学习技术在自动化UI设计任务中最为有效？
• RQ2 哪些主要的数据限制阻碍了跨平台UI设计自动化的进展？
• RQ3 如何利用生成对抗网络（GAN）和自编码器等生成模型合成高保真度的UI组件？
• RQ4 可解释人工智能（XAI）在提升用户对基于深度学习的UI设计工具信任度和采纳率方面发挥什么作用？
• RQ5 如何将基于深度学习的UI生成技术集成到Android Studio和Visual Studio等现有软件开发环境中？

主要发现

• 在374篇综述论文中，仅有42篇聚焦于Android平台的UI设计，针对iOS和桌面平台的研究极为有限。
• 高质量的UI数据集主要集中在Android平台，而iOS和基于Web的UI仍处于研究不足状态。
• 生成对抗网络（GAN）在生成高分辨率、可控制的UI组件方面展现出强大潜力。
• 文本到图像和文本到代码模型可扩展用于从自然语言规范生成UI设计。
• 深度学习生成的UI的可解释性和可解释性仍是主要挑战，限制了用户的信任与采纳。
• 构建一个集中化、开源的深度学习框架用于UI设计自动化，可显著加速其在软件开发生态中的应用。