[论文解读] THUIR@COLIEE 2023: Incorporating Structural Knowledge into Pre-trained Language Models for Legal Case Retrieval

Haitao Li, Weihang Su+4 more|arXiv (Cornell University)|May 11, 2023

Artificial Intelligence in Law被引用 6

一句话总结

本文提出 SAILER，一种结构感知的预训练语言模型，通过显式建模案例中的事实-推理-裁决结构来增强法律案例检索。通过在预训练过程中融入结构知识，并结合基于启发式的预/后处理与学习排序融合策略，该方法在 COLIEE 2023 法律案例检索竞赛中取得最先进性能，测试集上的 F1 得分为 0.3001。

ABSTRACT

Legal case retrieval techniques play an essential role in modern intelligent legal systems. As an annually well-known international competition, COLIEE is aiming to achieve the state-of-the-art retrieval model for legal texts. This paper summarizes the approach of the championship team THUIR in COLIEE 2023. To be specific, we design structure-aware pre-trained language models to enhance the understanding of legal cases. Furthermore, we propose heuristic pre-processing and post-processing approaches to reduce the influence of irrelevant messages. In the end, learning-to-rank methods are employed to merge features with different dimensions. Experimental results demonstrate the superiority of our proposal. Official results show that our run has the best performance among all submissions. The implementation of our method can be found at https://github.com/CSHaitao/THUIR-COLIEE2023.

研究动机与目标

• 为解决法律案例检索中标签数据有限以及对案例结构理解不足的挑战。
• 通过显式建模法律案例中的事实-推理-裁决结构来提升检索性能。
• 通过基于启发式的预处理和后处理技术减少无关内容带来的噪声。
• 通过多维特征的排序学习融合提升模型泛化能力和排序准确性。
• 在 COLIEE 2023 法律案例检索竞赛中实现最先进性能。

提出的方法

• 提出 SAILER，一种双编码器-解码器预训练语言模型，旨在捕捉法律案例各组成部分（事实、推理、裁决）之间的关系。
• 采用结构感知的预训练目标，利用法律案例的固有结构以改善表示学习。
• 应用基于启发式的预处理，过滤掉输入前的无关内容，如案号和程序性细节。
• 采用后处理策略，包括按审判日期过滤和动态截断，以优化候选列表。
• 使用基于 Lambdarank 目标的排序学习方法，融合多个模型与特征的得分，提升最终排序性能。
• 采用 1:15 的正负样本比例进行微调，优化器为 AdamW，学习率采用线性预热调度。

实验结果

研究问题

• RQ1 在预训练语言模型中显式引入结构知识是否能提升法律案例检索性能？
• RQ2 基于启发式的预处理与后处理技术在减少法律案例文本噪声方面的有效性如何？
• RQ3 对多样化特征进行排序学习融合在多大程度上能提升检索性能？
• RQ4 在输入长度受限条件下，密集检索模型的性能是否会下降？长上下文模型能否缓解此问题？
• RQ5 结构感知的预训练方法是否能超越标准法律 BERT 模型和词法匹配基线？

主要发现

• 当上下文长度为 512 个 token 时，SAILER 在验证集上取得 F1 得分为 0.1385，显著优于 RoBERTa（0.1046）和 BERT（0.0809）。
• 当输入长度无限制时，BM25 和 QLD 表现优于所有其他模型，表明标准模型在长上下文理解方面仍面临挑战。
• 最终集成方法结合动态截断与审判日期过滤后，在验证集上取得 F1 得分为 0.2276，最佳运行（thuirun2）在测试集上达到 F1 0.3001。
• 按审判日期过滤被证明是最有效的后处理策略，相比基线集成，F1 提升超过 20%。
• SAILER 相较于 LEGAL-BERT（0.0888）和 BERT（0.0809）的性能提升，证明了结构感知预训练在法律检索中的价值。
• 该方法在 COLIEE 2023 竞赛中所有提交结果中表现最佳，获得第一名。