[论文解读] Robustness of Structured Data Extraction from In-plane Rotated Documents using Multi-Modal Large Language Models (LLM)

Anjanava Biswas, Wrick Talukdar|arXiv (Cornell University)|Jun 13, 2024

Natural Language Processing Techniques被引用 5

一句话总结

本论文评估平面内文档旋转（倾斜）如何影响三种多模态大模型的结构化数据提取（Claude V3 Sonnet、GPT-4-Turbo、Llava v1.6），识别安全旋转范围，并讨论检测/校正的局限性和未来鲁棒架构。

ABSTRACT

Multi-modal large language models (LLMs) have shown remarkable performance in various natural language processing tasks, including data extraction from documents. However, the accuracy of these models can be significantly affected by document in-plane rotation, also known as skew, a common issue in real-world scenarios for scanned documents. This study investigates the impact of document skew on the data extraction accuracy of three state-of-the-art multi-modal LLMs: Anthropic Claude V3 Sonnet, GPT-4-Turbo, and Llava:v1.6. We focus on extracting specific entities from synthetically generated sample documents with varying degrees of skewness. The results demonstrate that document skew adversely affects the data extraction accuracy of all the tested LLMs, with the severity of the impact varying across models. We identify the safe in-plane rotation angles (SIPRA) for each model and investigate the effects of skew on model hallucinations. Furthermore, we explore existing skew detection and correction mechanisms and discuss their potential limitations. We propose alternative approaches, including developing new multi-modal architectures that are inherently more robust to document skew and incorporating skewing techniques during the pre-training phase of the models. Additionally, we highlight the need for more comprehensive testing on a wider range of document quality and conditions to fully understand the challenges and opportunities associated with using multi-modal LLMs for information extraction in real-world scenarios.

研究动机与目标

• 评估平面内旋转（倾斜）对最前沿多模态大模型的结构化数据提取的影响。
• 在不同倾斜条件下比较 Claude V3 Sonnet、GPT-4-Turbo 和 Llava v1.6 的性能。
• 为每个模型识别安全的平面内旋转角度（SIPRA），并研究倾斜引发的幻觉现象。
• 评估现有的倾斜检测/校正方法及其局限性。
• 讨论在倾斜文档场景中的鲁棒性替代方案和未来方向。

提出的方法

• 使用具有不同倾斜水平的合成生成文档来模拟现实世界的扫描文档。
• 在结构化数据提取任务上评估三种最前沿多模态大模型：Anthropic Claude V3 Sonnet、GPT-4-Turbo 和 Llava v1.6。
• 在倾斜条件下分析模型的准确性和幻觉倾向。
• 为每个模型识别 SIPRA。
• 审查现有的倾斜检测与校正机制并讨论潜在局限性。
• 提出方向包括开发新的多模态架构以及在训练中加入倾斜的预训练。

实验结果

研究问题

• RQ1 平面内旋转倾斜如何影响所选多模态大模型的结构化数据提取精度？
• RQ2 每个模型的安全平面内旋转角度（SIPRA）是什么？
• RQ3 倾斜如何影响数据提取任务中的模型幻觉？
• RQ4 在此背景下，现有的倾斜检测/校正方法有哪些局限性？
• RQ5 哪些替代方法可以提高对文档倾斜的鲁棒性（架构设计、预训练策略）？

主要发现

• 文档倾斜对所有测试模型的数据提取准确性均有负面影响，且不同模型的影响程度不同。
• 研究中为每个模型识别了安全的平面内旋转角度（SIPRA）。
• 倾斜对模型幻觉的影响已被调查并讨论。
• 对现有的倾斜检测与校正机制进行了探讨，指出了局限性。
• 本文提出替代方法，包括开发对倾斜鲁棒的新型多模态架构，以及在预训练中加入倾斜因素，并呼吁在文档质量和条件方面进行更广泛的测试。