[论文解读] Prototype-Based Interpretability for Legal Citation Prediction

Chu Fei Luo, Rohan Bhambhoria+2 more|arXiv (Cornell University)|May 25, 2023

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了一种基于原型的可解释性框架，用于法律引用预测（LCP），通过整合判例和法律条文作为输入，模拟律师的推理过程。该框架采用改进的原型架构，在性能上表现优异，且具备更强的可解释性，经专家反馈和消融实验验证，是首次在高风险法律NLP任务中应用基于原型的方法。

ABSTRACT

Deep learning has made significant progress in the past decade, and demonstrates potential to solve problems with extensive social impact. In high-stakes decision making areas such as law, experts often require interpretability for automatic systems to be utilized in practical settings. In this work, we attempt to address these requirements applied to the important problem of legal citation prediction (LCP). We design the task with parallels to the thought-process of lawyers, i.e., with reference to both precedents and legislative provisions. After initial experimental results, we refine the target citation predictions with the feedback of legal experts. Additionally, we introduce a prototype architecture to add interpretability, achieving strong performance while adhering to decision parameters used by lawyers. Our study builds on and leverages the state-of-the-art language processing models for law, while addressing vital considerations for high-stakes tasks with practical societal impact.

研究动机与目标

• 解决现有法律引用预测模型中可解释性不足的问题，这些模型通常仅依赖案件事实，未能反映律师如何结合判例和法律条文进行推理。
• 将法律引用预测重构为一项基于法律推理的任务——同时参考判例法（判例）和立法规定（法律条文），以更好地契合实务工作流程。
• 开发一种基于原型的深度学习架构，通过学习引用的代表性样本，增强模型可解释性，使用户能够通过与已知法律依据的相似性追溯决策过程。
• 整合法律专家的反馈，以优化任务定义并提升模型的相关性，展示在高风险AI应用中跨学科协作的价值。
• 在准确率之外评估模型的实际效用，通过输入扰动和潜在空间分析评估模型行为，确保其与法律推理模式保持一致。

提出的方法

• 定义一项新任务——法律引用预测（LCP），其中输入包括法律问题（从案件事实中抽象得出）和参考材料（判例和法律条文），以模拟律师构建论据的方式。
• 实现一种基于原型的神经架构，其中每个引用在嵌入空间中表示为一个原型向量，预测基于输入表示与原型之间的余弦相似度做出。
• 引入一种改进的损失函数，通过加强与相关判例和法律条文的相似度，使模型更符合法律推理逻辑，采用交叉熵与原型对比损失的加权组合。
• 使用k-means聚类初始化原型，并通过微调优化引用预测性能，同时通过原型接近度保持可解释性。
• 应用输入扰动和潜在空间分析，评估模型的鲁棒性和可解释性，确保预测对法律语境变化敏感。
• 使用经专家验证的引用标注的精选数据集进行模型训练与验证，基于验证集的宏F1而非损失选择最佳模型，以避免训练过程中的崩溃。

实验结果

研究问题

• RQ1 如何重新定义法律引用预测，以反映律师实际依赖判例法和立法规定进行推理的过程？
• RQ2 与仅基于事实的基线相比，将法律判例和立法规定作为输入，在多大程度上提升了模型性能和可解释性？
• RQ3 基于原型的架构能否有效建模法律引用预测，同时使人类专家能够解释和验证模型决策？
• RQ4 专家反馈在高风险法律NLP任务中如何影响任务定义的优化和模型性能的提升？
• RQ5 在法律引用预测中，性能与可解释性之间存在何种权衡？原型方法在实践中如何平衡这两者？

主要发现

• 经法律专家反馈优化后的LCP任务，显著提升了预测引用的相关性和实际效用，优于仅基于事实的基线模型。
• 基于原型的架构在法律引用预测任务中实现了优异性能，同时通过与已知法律依据的相似性推理，实现了可解释性。
• 输入扰动和潜在空间分析表明，模型的预测对法律语境变化敏感，支持其与人类推理模式的一致性。
• 模型在程序性（较简单）引用上的表现优于非程序性（较困难）引用，表明法律引用预测中仍存在长尾挑战，尚未解决。
• 由于k-means初始化不稳定和损失函数动态变化，训练过程中出现模型崩溃，通过基于宏F1而非损失选择最佳模型得以解决。
• 该系统专为法律专业人士设计，而非普通用户，其可解释性使专家能够基于与已知法律权威的相似性来验证或否决预测结果。