[论文解读] Semantic Segmentation of Legal Documents via Rhetorical Roles

Vijit Malik, Rishabh Sanjay+5 more|arXiv (Cornell University)|Dec 3, 2021

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了一种新的印度法律判决语料库，其中标注了13种修辞角色（例如，事实、论点、裁决），以实现对长篇、非结构化法律文本的语义分割。该研究提出了一种多任务学习模型，利用文档级别的修辞角色转换作为辅助任务，实现了在修辞角色预测任务上的优越性能（宏平均F1为0.68），并在领域迁移和模型蒸馏场景中表现出鲁棒性。

ABSTRACT

Legal documents are unstructured, use legal jargon, and have considerable length, making them difficult to process automatically via conventional text processing techniques. A legal document processing system would benefit substantially if the documents could be segmented into coherent information units. This paper proposes a new corpus of legal documents annotated (with the help of legal experts) with a set of 13 semantically coherent units labels (referred to as Rhetorical Roles), e.g., facts, arguments, statute, issue, precedent, ruling, and ratio. We perform a thorough analysis of the corpus and the annotations. For automatically segmenting the legal documents, we experiment with the task of rhetorical role prediction: given a document, predict the text segments corresponding to various roles. Using the created corpus, we experiment extensively with various deep learning-based baseline models for the task. Further, we develop a multitask learning (MTL) based deep model with document rhetorical role label shift as an auxiliary task for segmenting a legal document. The proposed model shows superior performance over the existing models. We also experiment with model performance in the case of domain transfer and model distillation techniques to see the model performance in limited data conditions.

研究动机与目标

• 为解决印度判例法中长篇、非结构化且术语密集的法律文件处理难题，此类文件阻碍了自动化法律信息抽取与决策制定。
• 创建一个涵盖多种法律领域的13种修辞角色标签（例如，争议点、判例理由、先例）的细粒度新语料库，由法律专家进行标注。
• 开发并评估一种多任务学习模型，通过利用文档级别的标签分布变化作为辅助信号，提升修辞角色预测性能。
• 评估模型在不同法律子领域（例如，IT/CL）之间的泛化能力，并通过使用未标注数据进行模型蒸馏，探索数据效率。
• 通过展示使用真实或预测的修辞角色片段在判断预测等下游法律NLP任务中带来的性能提升，证明修辞角色在实际应用中的有效性。

提出的方法

• 在多个法律领域（例如，IT、刑事法）的100份印度判决书中，对13种语义一致的修辞角色进行标注，通过专家标注和标注者间一致性验证。
• 在新语料库上训练并比较多种深度学习基线模型（例如，BiLSTM-CRF、BERT）在修辞角色序列标注任务上的表现。
• 提出一种多任务学习（MTL）框架，其中主任务为修辞角色预测，辅助任务为预测文档中修辞角色分布的变化。
• 应用知识蒸馏技术，将大型高性能教师模型（MTL-BiLSTM-CRF）的知识迁移至更小的教师模型，以在标注数据有限的情况下提升性能。
• 在法律文档最后512个标记上微调BERT模型以进行判断预测，并比较仅使用这些标记与仅使用预测或真实修辞角色片段（例如，ROD、RPC）时的性能表现。

实验结果

研究问题

• RQ1 与粗粒度方案相比，细粒度的修辞角色标注方案（13种角色）是否能提升对长篇复杂法律判决的语义分割效果？
• RQ2 在多任务学习框架中，将文档级别的修辞角色变化作为辅助任务，是否能提升修辞角色预测模型的性能？
• RQ3 当将所提出的MTL模型迁移至未见过的法律子领域（例如，从IT领域到刑事法领域）时，其鲁棒性如何？
• RQ4 在标注数据稀缺的情况下，模型蒸馏能在多大程度上提升性能？其是否能改善跨领域的泛化能力？
• RQ5 修辞角色分割能否提升下游法律NLP任务（如判断预测）的性能？使用预测的角色是否能达到与使用金标准角色相当的效果？

主要发现

• 所提出的多任务学习模型在修辞角色预测任务上取得了0.68的宏平均F1分数，优于现有基线模型。
• 在一次蒸馏迭代后，RLC（法律结论理由）标签的F1分数提升了0.11，且标签方差进一步降低。
• 模型蒸馏在所有标签上均提升了性能，最佳迭代在两次蒸馏步骤后达到0.72的宏平均F1。
• 使用真实修辞角色片段（ROD和RPC）进行判断预测，将F1分数从仅使用最后512个标记时的0.55提升至0.58，具有统计显著性（p ≤ 0.05）。
• 使用MTL模型预测的ROD和RPC片段进行判断预测，其性能与在完整文档上微调的BERT模型相当，表明其在下游任务中具有强大实用性。
• 该模型在领域迁移中表现出鲁棒性，无需微调即可有效从IT领域泛化至刑事法领域。