[论文解读] Unifying Vision, Text, and Layout for Universal Document Processing

Zineng Tang, Ziyi Yang+7 more|arXiv (Cornell University)|Dec 5, 2022

Handwritten Text Recognition Techniques被引用 8

一句话总结

UDOP 是一种基础模型，通过视觉-文本-布局 Transformer 和基于提示的序列到序列框架，在文档 AI 中统一了视觉、文本和布局模态。它在 8 项文档 AI 任务上实现了最先进性能，包括文档问答和布局分析，并首次实现了高质量、可定制的文档生成与编辑。

ABSTRACT

We propose Universal Document Processing (UDOP), a foundation Document AI model which unifies text, image, and layout modalities together with varied task formats, including document understanding and generation. UDOP leverages the spatial correlation between textual content and document image to model image, text, and layout modalities with one uniform representation. With a novel Vision-Text-Layout Transformer, UDOP unifies pretraining and multi-domain downstream tasks into a prompt-based sequence generation scheme. UDOP is pretrained on both large-scale unlabeled document corpora using innovative self-supervised objectives and diverse labeled data. UDOP also learns to generate document images from text and layout modalities via masked image reconstruction. To the best of our knowledge, this is the first time in the field of document AI that one model simultaneously achieves high-quality neural document editing and content customization. Our method sets the state-of-the-art on 8 Document AI tasks, e.g., document understanding and QA, across diverse data domains like finance reports, academic papers, and websites. UDOP ranks first on the leaderboard of the Document Understanding Benchmark.

研究动机与目标

• 通过利用其空间相关性，统一文档 AI 中的视觉、文本和布局模态。
• 开发一种单一、统一的模型架构，能够处理跨多个领域的多样化文档任务。
• 设计新颖的自监督预训练目标，联合建模文本、视觉和布局，以实现整体文档表征。
• 通过统一的生成框架，实现高质量、可定制的文档编辑与生成。
• 在包括文档理解与布局分析在内的多样化文档 AI 基准上实现最先进性能。

提出的方法

• UDOP 使用布局诱导表征，将文本标记嵌入与文本出现位置的图像块特征融合，增强跨模态交互。
• 它引入了视觉-文本-布局（VTL）Transformer，包含一种模态无关的编码器、一个文本-布局解码器和一个视觉解码器，以联合编码和解码所有三种模态。
• 该模型采用统一的序列到序列生成框架处理所有下游任务，使用基于提示的输入来定义特定任务目标。
• UDOP 使用新颖的自监督预训练目标进行预训练：联合文本-布局重建、视觉文本识别、布局建模以及掩码图像重建（MAE）。
• 它通过掩码自编码学习从文本和布局生成文档图像，从而实现逼真的文档编辑与定制。
• 该模型通过监督数据进行微调，并从辅助问答数据集的额外预训练中受益，提升了零样本泛化能力。

Figure 1 : UDOP unifies vision, text, and layout through vision-text-layout Transformer and unified generative pretraining tasks including vision task, text task, layout task, and mixed task. We show the task prompts (left) and task targets (right) for all self-supervised objectives (joint text-layo

实验结果

研究问题

• RQ1 能否通过空间相关性，利用统一的基础模型有效整合文档 AI 中的视觉、文本和布局模态？
• RQ2 单一生成框架能否统一诸如问答、布局分析和信息抽取等多样化文档任务？
• RQ3 联合建模文本、视觉和布局的新型自监督目标在整体文档表征方面有多有效？
• RQ4 统一模型能否实现高质量、可定制的文档生成与编辑，这是以往文档 AI 中无法实现的？
• RQ5 视觉模态在视觉丰富型与文本主导型文档任务中的性能提升程度如何？

主要发现

• UDOP 在 8 项文档 AI 任务上实现了最先进性能，包括文档问答（在 DocVQA 上为 85.0 ± 0.2）和布局分析（在 RVL-CDIP 上为 96.3 ± 0.1）。
• 与仅使用 MLM 的预训练相比，引入掩码图像重建和监督预训练分别使 DocVQA 和 RVL-CDIP 的性能提升 0.6 和 0.6 分。
• 在辅助问答数据集上微调后，UDOP 在 DocVQA（87.8 vs. 87.1）和 InfographicsVQA（63.0 vs. 61.2）上均优于 TILT。
• 视觉模态在视觉丰富型任务中贡献显著：移除图像嵌入会使 InfographicsVQA 性能下降 2.4 分，而 DocVQA 仅下降 0.3 分。
• UDOP 的统一编码器架构在大多数基准上优于模态特定的双编码器变体（UDOP-Dual），表明联合表征学习的优势。
• UDOP 是首个实现高质量、可定制文档编辑与生成的文档 AI 模型，能够从文本和布局输入中实现逼真的图像重建。

Figure 2 : Layout-induced vision-text embedding.