[论文解读] Reverse-Engineering Information Presentations: Recovering Hierarchical Grouping from Layouts of Visual Elements

Danqing Shi, Weiwei Cui+3 more|arXiv (Cornell University)|Jan 13, 2022

Data Visualization and Analytics被引用 4

一句话总结

本文提出了一种基于深度学习的方法，仅通过视觉布局自动恢复信息展示中的分层分组，利用Transformer模型预测视觉元素之间的相关性，并通过自底向上的算法构建分组。在包含23,072张幻灯片的数据集上评估，该方法在分组准确率上达到人类水平，为设计分析与自动化提供了一种可扩展的解决方案。

ABSTRACT

Visual elements in an information presentation are often spatially and semantically grouped hierarchically for effective message delivery. Studying the hierarchical grouping information can help researchers and designers better explore layout structures and understand design demographics. However, recovering hierarchical grouping is challenging due to a large number of possibilities for compositing visual elements into a single-page design. This paper introduces an automatic approach that takes the layout of visual elements as input and returns the hierarchical grouping as output. To understand information presentations, we first contribute a dataset of 23,072 information presentations with diverse layouts to the community. Next, we propose our technique with a Transformer-based model to predict relatedness between visual elements and a bottom-up algorithm to produce the hierarchical grouping. Finally, we evaluate our technique through a technical experiment and a user study with 30 designers. The results show that the proposed technique is promising.

研究动机与目标

• 解决在无显式分组标注的情况下，从信息展示中恢复隐含分层分组的挑战。
• 开发一种无需依赖手工规则的自动学习方法，从空间布局中推断有意义的分组。
• 构建一个包含23,072张精心设计的信息展示的大型多样化数据集，以支持布局理解与设计分析的研究。
• 通过技术基准测试与专业设计师的用户研究评估所提方法的实际效用与准确性。
• 通过提供结构化的布局分组，支持下游应用如设计辅助、动画生成与信息提取。

提出的方法

• 从公开来源收集了包含23,072张信息展示的大规模数据集，主要为PowerPoint格式，并对视觉元素进行空间与语义特征解析。
• 训练了一个基于Transformer的模型，利用空间布局上下文与学习到的表征来预测视觉元素之间的相关性。
• 通过引入空间编码增强模型，以更好地捕捉邻近性与对齐等几何关系。
• 采用自底向上的基于图的算法，利用预测的相关性与空间距离，迭代地将元素合并为分层分组。
• 分组过程从单个元素开始，根据相关性得分与空间邻近性，逐步将元素合并为更高级别的分组。
• 该方法支持多种分组粒度，并可适应层级中不同细节层次的调整。

实验结果

研究问题

• RQ1 仅从布局中，深度学习模型能否有效预测视觉元素之间的相关性，而无需显式语义内容？
• RQ2 与专业设计师相比，端到端的自动化方法在信息展示中恢复分层分组的准确度如何？
• RQ3 所提技术在不同设计风格与布局结构中的泛化能力如何？
• RQ4 模型的失败模式是什么？它们与复杂连接器或语义组合（如“电脑”与“手机”作为独立实体）有何关联？
• RQ5 该方法能否作为实用的设计辅助工具，用于修复现有演示文稿中噪声大或不一致的分组？

主要发现

• 在30名专业设计师参与的用户研究中，所提技术在分组准确性上与人类设计师表现相当，证明了其强大的实际可行性。
• 在Transformer架构中引入空间编码显著提升了模型性能，增强了空间推理能力。
• 失败案例主要源于由多个形状组成的复杂连接器以及语义组合（如“电脑”与“手机”作为独立实体）导致的分割失败。
• 包含23,072张幻灯片的大型数据集为未来布局理解、设计分类与生成研究提供了宝贵资源。
• 该方法成功在多样化布局中恢复了分层分组，包括复杂排布与混合视觉元素的场景。
• 该技术可用于自动修复或重构现有演示文稿中的分组结构，尤其适用于人工分组存在不一致或错误的情况。