[论文解读] Threshold-Based Retrieval and Textual Entailment Detection on Legal Bar Exam Questions

Sabine Wehnert, Sayed Anisul Hoque+2 more|arXiv (Cornell University)|May 30, 2019

Artificial Intelligence in Law被引用 8

一句话总结

本论文提出了一种基于阈值的法律文档检索系统，结合了BM25与词嵌入的词心距距离方法，并采用带有注意力机制的堆叠编码器模型进行日语司法考试题目的文本蕴涵检测。该方法在COLIEE 2019蕴涵任务上取得了57.14%的准确率，优于基线模型，表明阈值化处理与集成建模可提升在数据不平衡的法律NLP任务中的性能。

ABSTRACT

Getting an overview over the legal domain has become challenging, especially in a broad, international context. Legal question answering systems have the potential to alleviate this task by automatically retrieving relevant legal texts for a specific statement and checking whether the meaning of the statement can be inferred from the found documents. We investigate a combination of the BM25 scoring method of Elasticsearch with word embeddings trained on English translations of the German and Japanese civil law. For this, we define criteria which select a dynamic number of relevant documents according to threshold scores. Exploiting two deep learning classifiers and their respective prediction bias with a threshold-based answer inclusion criterion has shown to be beneficial for the textual entailment task, when compared to the baseline.

研究动机与目标

• 通过混合检索与深度学习方法，提升针对司法考试风格问题的法律文档检索与文本蕴涵检测性能。
• 应对跨国际法域的法律文本复杂性及成文法中隐含依赖关系的挑战。
• 通过自动化识别相关法律条文与蕴涵关系，减少对领域专家的依赖。
• 通过基于阈值的相关性评分与注意力机制，提升模型可解释性与性能。
• 在低资源法律NLP场景下，证明集成建模与领域自适应嵌入的有效性。

提出的方法

• 结合在德语与日语民法译文上训练的词嵌入，使用BM25评分与词心距距离进行检索。
• 应用动态阈值，根据相似度得分选择可变数量的最高分文档。
• 采用带有残差连接与注意力机制的堆叠编码器架构进行文本蕴涵分类。
• 使用两个深度学习分类器，其预测偏向于“否定”类别，并通过集成投票方式进行融合。
• 应用基于阈值的答案包含策略以过滤预测结果，提升蕴涵检测的精确率。
• 可视化注意力图以解释模型决策，并识别与未登录词相关的失败案例。

实验结果

研究问题

• RQ1 结合词法（BM25）与语义（词嵌入）检索方法是否能提升法律文档检索性能？
• RQ2 基于阈值的检索文档选择方式如何影响法律信息检索中的检索质量？
• RQ3 与基线模型相比，带有注意力机制的堆叠编码器能否提升在法律司法考试题目上的文本蕴涵检测性能？
• RQ4 模型对“否定”类别的偏向在多大程度上影响蕴涵预测？又该如何缓解？
• RQ5 注意力机制如何揭示模型推理过程？它们为涉及罕见或领域专用术语的失败案例提供了哪些洞见？

主要发现

• 基于阈值的检索方法结合BM25与词心距距离，在性能上优于部分基线模型，但随着用于嵌入训练的法律语料库规模扩大，性能提升空间仍较大。
• 堆叠编码器模型在COLIEE 2019蕴涵测试集上达到57.14%的准确率，优于始终预测“否”的基线模型（准确率为52.04%）。
• 两个深度学习分类器均表现出对“无蕴涵”预测的偏向，但在不同样本上展现出互补的预测模式。
• 注意力可视化显示，模型正确聚焦于语义相关的查询-文档片段，如“primary obligor的继承人不得”与“可主张消灭”。
• 错误预测常与未登录词（如“pre-contract”）相关，GloVe嵌入未能捕捉这些术语的领域特定用法。
• 本研究建议，在更大规模的领域特定法律语料库上训练词嵌入，可显著提升模型性能。