[论文解读] When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset

Lucia Zheng, Neel Guha+3 more|arXiv (Cornell University)|Apr 18, 2021

Artificial Intelligence in Law参考文献 44被引用 14

一句话总结

本文提出了CaseHOLD，一个包含53,000多个多项选择题的基准数据集，用于识别美国判例法中的法律裁决，并证明在350万份法律判决上进行领域特定预训练，仅在困难且领域特定的任务上带来显著提升——相比BERT提升7.2%的F1分数。该研究通过展示预训练效果在任务难度与预训练语料的领域特异性相匹配时最为显著，解决了法律NLP中性能提升微弱的谜题。

ABSTRACT

While self-supervised learning has made rapid advances in natural language processing, it remains unclear when researchers should engage in resource-intensive domain-specific pretraining (domain pretraining). The law, puzzlingly, has yielded few documented instances of substantial gains to domain pretraining in spite of the fact that legal language is widely seen to be unique. We hypothesize that these existing results stem from the fact that existing legal NLP tasks are too easy and fail to meet conditions for when domain pretraining can help. To address this, we first present CaseHOLD (Case Holdings On Legal Decisions), a new dataset comprised of over 53,000+ multiple choice questions to identify the relevant holding of a cited case. This dataset presents a fundamental task to lawyers and is both legally meaningful and difficult from an NLP perspective (F1 of 0.4 with a BiLSTM baseline). Second, we assess performance gains on CaseHOLD and existing legal NLP datasets. While a Transformer architecture (BERT) pretrained on a general corpus (Google Books and Wikipedia) improves performance, domain pretraining (using corpus of approximately 3.5M decisions across all courts in the U.S. that is larger than BERT's) with a custom legal vocabulary exhibits the most substantial performance gains with CaseHOLD (gain of 7.2% on F1, representing a 12% improvement on BERT) and consistent performance gains across two other legal tasks. Third, we show that domain pretraining may be warranted when the task exhibits sufficient similarity to the pretraining corpus: the level of performance increase in three legal tasks was directly tied to the domain specificity of the task. Our findings inform when researchers should engage resource-intensive pretraining and show that Transformer-based architectures, too, learn embeddings suggestive of distinct legal language.

研究动机与目标

• 解决尽管法律语言具有显著独特性，但在法律NLP中领域特定预训练带来的性能提升却微乎其微的谜题。
• 开发一个新且具有挑战性的基准数据集，以反映一项核心法律任务：识别被引用案例的法律裁决。
• 评估在何种情况下以及为何在法律NLP任务中，领域预训练相比通用预训练能带来显著性能提升。
• 提供一个实用的启发式方法——领域特异性评分（DS评分），以指导研究人员决定是否应投入资源进行昂贵的领域预训练。
• 证明法律语言可被Transformer模型有效学习，且领域特定预训练可产生与科学和生物医学NLP相当的性能增益。

提出的方法

• 通过引用规则和语义匹配，从美国判例引用中提取裁决陈述，构建CaseHOLD数据集，形成多项选择题。
• 使用自定义法律词汇表，在包含350万份美国联邦及州法院判决的语料上对基于BERT的模型进行领域预训练。
• 在三个法律NLP任务上微调领域预训练模型：CaseHOLD（裁决识别）、Overruling（引用推翻检测）和Terms of Service（合同分类）。
• 使用F1分数衡量性能，并比较通用预训练（Google Books + Wikipedia）与领域预训练的性能差异。
• 为每个任务计算领域特异性（DS）评分，以分析任务领域匹配度与性能增益之间的相关性。
• 使用BiLSTM基线模型建立性能下限，并评估预训练带来的相对性能提升。

实验结果

研究问题

• RQ1 在何种条件下，领域特定预训练能在法律NLP中带来显著的性能增益？
• RQ2 尽管法律语言具有显著独特性，为何以往尝试预训练法律语言模型仅带来微小增益？
• RQ3 法律NLP中是否存在一个新且具有挑战性的基准任务，能够揭示领域预训练此前未被发现的优势？
• RQ4 任务的领域特异性程度与领域预训练带来的性能增益大小之间有何关联？
• RQ5 像领域特异性（DS）评分这样的简单指标，能否帮助研究人员判断是否应投资于昂贵的领域预训练？

主要发现

• 在350万份判决语料上进行领域预训练，使CaseHOLD基准的F1分数绝对提升了7.2%，相比BERT相对提升了12%。
• 在迄今为止所有法律NLP任务中，CaseHOLD上的性能提升幅度最大，与SciBERT和BioBERT所观察到的增益水平相当。
• 在如Overruling这类简单任务上，通用预训练（BERT）已达到较高性能（BiLSTM的F1≈0.91），为领域预训练留出的提升空间极小。
• 领域预训练带来的性能增益在最困难、最领域特定的任务（CaseHOLD）上最为显著，而在领域特异性较低或更简单任务上则呈递减趋势。
• 各任务的性能提升程度与领域特异性（DS）评分呈直接正相关，验证了DS评分作为预训练投资决策实用启发式方法的有效性。
• 结果表明，法律语言可被Transformer模型有效学习，且领域特定预训练能够捕捉法律文本中的独特语言模式。