[论文解读] THUIR@COLIEE-2020: Leveraging Semantic Understanding and Exact Matching for Legal Case Retrieval and Entailment

Yunqiu Shao, Bulou Liu+4 more|arXiv (Cornell University)|Dec 24, 2020

Artificial Intelligence in Law参考文献 10被引用 8

一句话总结

本论文在COLIEE-2020竞赛中提出了一种混合方法，结合神经语义理解（BERT-PLI）与精确匹配（词-实体双人组）技术，用于法律案例检索与蕴含判断。该方法利用学习排序（learning-to-rank）整合两种策略，在检索任务中获得第2名，在蕴含判断任务中获得第4名，表明在蕴含判断中语义模型优于精确匹配，而在检索任务中两者则具有互补性。

ABSTRACT

In this paper, we present our methodologies for tackling the challenges of legal case retrieval and entailment in the Competition on Legal Information Extraction / Entailment 2020 (COLIEE-2020). We participated in the two case law tasks, i.e., the legal case retrieval task and the legal case entailment task. Task 1 (the retrieval task) aims to automatically identify supporting cases from the case law corpus given a new case, and Task 2 (the entailment task) to identify specific paragraphs that entail the decision of a new case in a relevant case. In both tasks, we employed the neural models for semantic understanding and the traditional retrieval models for exact matching. As a result, our team (TLIR) ranked 2nd among all of the teams in Task 1 and 3rd among teams in Task 2. Experimental results suggest that combing models of semantic understanding and exact matching benefits the legal case retrieval task while the legal case entailment task relies more on semantic understanding.

研究动机与目标

• 为解决在COLIEE-2020竞赛中法律案例检索与蕴含判断任务的挑战，同时采用语义理解与精确匹配技术。
• 探究结合语义匹配与词法匹配方法是否能提升法律信息检索任务的性能。
• 评估在法律蕴含判断任务中，对BERT进行不对称截断（asymmetric truncation）的有效性，其中查询片段至关重要。
• 分析在低数据环境下模型融合的局限性，并识别影响法律NLP任务性能的关键因素。

提出的方法

• 采用词-实体双人组（word-entity duet）框架进行精确匹配，以捕捉法律案例中的词法与实体级相似性。
• 应用BERT-PLI模型通过建模长篇法律文档中的段落级交互，实现深层语义理解。
• 通过RankSVM进行学习排序，融合两种模型的特征以完成检索任务。
• 在蕴含判断任务的BERT微调过程中采用不对称截断，以保留决策片段（即查询）中的信息。
• 在蕴含判断任务中，将额外的元特征与精确匹配特征与BERT表征进行融合。
• 针对每个任务进行三次独立实验，通过改变模型组合方式与微调策略进行评估。

实验结果

研究问题

• RQ1 在法律案例检索与蕴含判断任务中，语义理解模型与精确匹配技术的表现如何比较？
• RQ2 结合语义与词法匹配方法是否能提升法律案例检索任务的性能？
• RQ3 在BERT微调过程中采用不对称截断是否能提升法律案例蕴含判断任务的性能？
• RQ4 为何尽管在检索任务中模型融合取得成功，但在蕴含判断任务中却未能提升性能？
• RQ5 数据稀缺与数据集偏差在多大程度上影响法律NLP任务中模型的泛化能力？

主要发现

• BERT-PLI模型在法律案例检索任务中显著优于词-实体双人组模型，表明语义理解在该任务中比精确匹配更有效。
• 通过学习排序将语义与精确匹配模型结合，性能优于单一方法，证实二者在检索任务中具有互补性。
• 在任务1（检索）中，最佳运行结果获得第2名，F1分数接近第一名团队，差距不足0.01 F1分。
• 在任务2（蕴含判断）中，采用不对称截断的最佳运行结果获得第4名，表明保留查询片段信息可提升性能。
• 在任务2中，模型融合未能提升结果，可能是因为该任务高度依赖深层语义理解，且小样本数据存在过拟合风险。
• 任务2中表现最佳的团队（JNLP-BMWT）显著优于其他所有团队，表明当前方法仍有较大改进空间。