[论文解读] The Law of Large Documents: Understanding the Structure of Legal Contracts Using Visual Cues

Allison Hegel, Marina Shah+3 more|arXiv (Cornell University)|Jul 16, 2021

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了一种方法，利用OCR提取的视觉和结构线索（如布局、字体、缩进和分页）来提升法律合同中长文档的理解能力。通过将这些视觉特征与基于Transformer的NLP模型相结合，该方法在CUAD数据集上的四个任务（文档分割、实体抽取、属性分类）中均优于现有分割策略，表明视觉元数据显著提升了对长篇复杂法律文档的准确性。

ABSTRACT

Large, pre-trained transformer models like BERT have achieved state-of-the-art results on document understanding tasks, but most implementations can only consider 512 tokens at a time. For many real-world applications, documents can be much longer, and the segmentation strategies typically used on longer documents miss out on document structure and contextual information, hurting their results on downstream tasks. In our work on legal agreements, we find that visual cues such as layout, style, and placement of text in a document are strong features that are crucial to achieving an acceptable level of accuracy on long documents. We measure the impact of incorporating such visual cues, obtained via computer vision methods, on the accuracy of document understanding tasks including document segmentation, entity extraction, and attribute classification. Our method of segmenting documents based on structural metadata out-performs existing methods on four long-document understanding tasks as measured on the Contract Understanding Atticus Dataset.

研究动机与目标

• 解决标准NLP模型（如BERT）上下文长度限制导致的长法律合同理解难题。
• 克服标准文档分割方法因忽略结构和上下文信息而带来的局限性。
• 探究OCR提取的视觉线索（如布局、字体和分页）是否能提升长篇法律文本的理解能力。
• 开发并评估一种将视觉元数据与深度学习模型结合的方法，以增强法律合同下游NLP任务的性能。
• 证明视觉特征在减少因分页、页眉页脚及格式不一致导致的错误方面具有显著效果。

提出的方法

• 从扫描的法律合同中提取丰富的OCR元数据，包括文本边界框、字体大小、样式、对齐方式和缩进级别。
• 利用这些OCR元数据重建文档结构并推断章节边界，替代简单的基于token的分割方法。
• 通过将空间和风格元数据编码为额外的输入嵌入，将视觉特征整合到基于BERT的Transformer模型中。
• 在四个下游任务上进行模型训练和微调：文档分割、实体抽取、属性分类和跨度预测。
• 采用基于视觉线索的结构化分割策略，而非固定窗口或滑动token方法，以保留文档级上下文。
• 在Contract Understanding Atticus Dataset (CUAD) 上评估性能，并与忽略视觉结构的基线方法进行比较。

实验结果

研究问题

• RQ1 OCR提取的视觉线索在多大程度上提升了长法律合同中文档理解的准确性？
• RQ2 整合布局和格式信息对文档分割和跨度预测任务的性能有何影响？
• RQ3 视觉特征能否减少因分页、页眉页脚及格式不一致导致的错误？
• RQ4 文档长度如何影响理解任务的难度？视觉建模是否能缓解这一影响？
• RQ5 基于结构感知的分割策略是否优于标准的滑动窗口或固定分割方法？

主要发现

• 所提出的方法在所有四项评估任务（文档分割、实体抽取、属性分类和跨度预测）中均优于现有分割策略。
• 整合OCR提取的视觉线索显著提升了模型准确性，尤其在处理复杂格式（如分页和多行跨度）方面表现突出。
• 通过利用视觉元数据在长文档中保持文档级上下文，该模型在CUAD数据集上实现了最先进性能。
• 视觉特征有效减少了因分页和附加文本（如页眉页脚）导致的错误，例如能正确识别跨越页面边界的文本（如“State of Massachusetts”）。
• 研究量化表明，文档长度增加会提升任务难度，但视觉线索有助于缓解这一影响，提升模型在长合同上的鲁棒性。
• 消融实验证实，视觉特征对性能有显著贡献，与仅使用文本的基线相比，准确率有显著提升。