[论文解读] Multimodal Document Analytics for Banking Process Automation

Christopher Gerling, Stefan Lessmann|arXiv (Cornell University)|Jul 21, 2023

Robotic Process Automation Applications被引用 4

一句话总结

本文提出使用多模态LayoutXLM模型，通过整合文本、布局和视觉特征，实现银行文档分析的自动化，显著优于仅使用文本的单模态模型（如BERT和GPT）。结果表明，LayoutXLM仅需30%的训练数据即可达到其最大F1分数的75%以上，证明其在真实银行应用中具有高效率和低数据依赖性。

ABSTRACT

Traditional banks face increasing competition from FinTechs in the rapidly evolving financial ecosystem. Raising operational efficiency is vital to address this challenge. Our study aims to improve the efficiency of document-intensive business processes in banking. To that end, we first review the landscape of business documents in the retail segment. Banking documents often contain text, layout, and visuals, suggesting that document analytics and process automation require more than plain natural language processing (NLP). To verify this and assess the incremental value of visual cues when processing business documents, we compare a recently proposed multimodal model called LayoutXLM to powerful text classifiers (e.g., BERT) and large language models (e.g., GPT) in a case study related to processing company register extracts. The results confirm that incorporating layout information in a model substantially increases its performance. Interestingly, we also observed that more than 75% of the best model performance (in terms of the F1 score) can be achieved with as little as 30% of the training data. This shows that the demand for data labeled data to set up a multi-modal model can be moderate, which simplifies real-world applications of multimodal document analytics. Our study also sheds light on more specific practices in the scope of calibrating a multimodal banking document classifier, including the need for fine-tuning. In sum, the paper contributes original empirical evidence on the effectiveness and efficiency of multi-model models for document processing in the banking business and offers practical guidance on how to unlock this potential in day-to-day operations.

研究动机与目标

• 分析零售银行中银行文档的多样性与多模态特性。
• 评估在纯文本处理之外，视觉与布局特征在文档分析中的增量价值。
• 在真实银行文档分类任务中，将LayoutXLM与单模态模型（如BERT和GPT）进行基准对比。
• 评估在训练银行多模态模型时，数据效率及对类别不平衡的鲁棒性。
• 为在实际银行流程中部署多模态模型提供实用指导。

提出的方法

• 本研究采用LayoutXLM，一种在文档的文本和布局信息上预训练的多模态Transformer模型。
• 在德国公司注册信息提取数据集上微调LayoutXLM，该数据集包含文本、表格和视觉结构。
• 使用F1分数评估性能，并通过消融研究分离布局和视觉特征的贡献。
• 在零样本和少样本设置下，将模型与强基线模型（BERT（仅文本）和GPT-3.5（大语言模型））进行比较。
• 通过逐步增加标注数据集的比例（从10%到100%）测试数据效率，以衡量性能提升。
• 通过分析模型在未进行人工数据平衡情况下的表现，评估其对类别不平衡的内在鲁棒性。

实验结果

研究问题

• RQ1 与仅使用文本的模型相比，布局和视觉特征在银行文档分类中的性能提升程度如何？
• RQ2 在银行文档分析中，使用LayoutXLM这类多模态模型达到高性能需要多少标注训练数据？
• RQ3 在分类复杂、多模态的银行文档时，LayoutXLM相较于单模态模型（如BERT和GPT-3.5）的表现如何？
• RQ4 LayoutXLM是否能在不进行数据增强或重加权的情况下，有效应对银行文档数据集中常见的类别不平衡问题？
• RQ5 在考虑数据量和微调约束的前提下，LayoutXLM在真实银行运营中部署的实际可行性如何？

主要发现

• 当在完整数据集上训练时，LayoutXLM的F1分数约为80%，而仅使用30%的训练数据即可实现超过75%的性能。
• 消融研究证实，布局和视觉特征对性能有显著贡献，且LayoutXLM在相同任务中优于BERT和GPT-3.5。
• LayoutXLM对类别不平衡具有鲁棒性，在无需人工数据平衡或预处理的情况下仍能保持强性能。
• 模型性能在训练数据量达到200–300页之前迅速提升，之后增益放缓，表明在中等数据量后收益递减。
• 即使对于GPT-3.5这类大语言模型，银行场景下仍需微调，表明零样本推理不足以实现高精度的文档分析。
• LayoutXLM的多模态设计使其在处理包含表格、文本和视觉元素的复杂文档时，信息提取能力显著优于单模态模型。