[论文解读] ParaLaw Nets -- Cross-lingual Sentence-level Pretraining for Legal Text Processing

Ha-Thanh Nguyen, Vu Tran+7 more|arXiv (Cornell University)|Jun 25, 2021

Topic Modeling参考文献 12被引用 8

一句话总结

本文提出 ParaLaw Nets，一种用于法律文本处理的跨语言句子级预训练框架，通过利用日语和英语的平行法律文本减少语义模糊性。通过使用否定规则进行数据增强，在对齐的句子对上进行训练，该方法在 COLIEE-2021 法律问答基准上实现了最先进性能，其中 NFSP Base 模型在盲测集上达到 60.49% 的准确率。

ABSTRACT

Ambiguity is a characteristic of natural language, which makes expression ideas flexible. However, in a domain that requires accurate statements, it becomes a barrier. Specifically, a single word can have many meanings and multiple words can have the same meaning. When translating a text into a foreign language, the translator needs to determine the exact meaning of each element in the original sentence to produce the correct translation sentence. From that observation, in this paper, we propose ParaLaw Nets, a pretrained model family using sentence-level cross-lingual information to reduce ambiguity and increase the performance in legal text processing. This approach achieved the best result in the Question Answering task of COLIEE-2021.

研究动机与目标

• 通过利用跨语言句子级对齐来解决法律文本处理中的语义模糊性。
• 通过多语言预训练提升法律 NLP 任务中的零样本和少样本泛化能力。
• 开发一种能够处理日语法律文本中复杂否定的稳健预训练策略。
• 评估跨语言句子级预训练在法律基准数据集（如 COLIEE-2021）上的有效性。
• 证明句子级平行数据可提升模型理解能力，超越词级或文档级对齐。

提出的方法

• 在《日本民法》及其英文译本的平行句子上进行模型预训练，利用对齐的句子对以确保语义一致性。
• 通过否定规则应用数据增强：为每个合法句子生成其否定版本并反转标签（非法），以增加训练多样性。
• 对日语数据采用课程学习策略：先在前三个否定规则上进行初始训练，再进行完整数据集训练，以稳定收敛。
• 在法律性分类任务上评估该方法，使用六种模型：多语言 BERT、XLM-RoBERTa、NFSP 及其蒸馏变体（基础版和蒸馏版）。
• 通过联合编码源语言和目标语言句子来实现跨语言句子级预训练，以学习共享的语义表示。
• 在 COLIEE-2021 法律问答数据集上进行微调，模型性能通过盲测集准确率进行衡量。

实验结果

研究问题

• RQ1 与单语或词级对齐方法相比，句子级跨语言预训练是否能减少法律文本理解中的模糊性？
• RQ2 通过否定规则进行数据增强如何提升法律文本分类任务中模型的鲁棒性？
• RQ3 为何蒸馏模型和 XLM-RoBERTa 在日语法律数据上无法收敛，而 NFSP 和 NMSP 模型能够成功？
• RQ4 在平行法律句子上进行预训练是否能提升下游法律 NLP 任务中的零样本或少样本性能？
• RQ5 在句法和形态复杂性差异较大的语言对（如英语和日语）之间，模型性能的泛化程度如何？

主要发现

• NFSP Base 模型在 COLIEE-2021 盲测集上达到 60.49% 的准确率，优于所有其他提交系统。
• NMSP Base 模型达到 55.56% 的准确率，排名第二，而多语言 BERT 得分为 46.91%，表明所提跨语言方法的优越性。
• NFSP 和 NMSP 的蒸馏变体未能收敛，准确率低于 52%，表明知识蒸馏在此特定跨语言设置下可能无效。
• XLM-RoBERTa 和蒸馏模型表现出不稳定的训练损失，波动在 0.7 左右，表明在日语法律数据上学习动态较差。
• 多语言 BERT 的收敛性优于 XLM-RoBERTa，但相比 NFSP 和 NMSP 仍表现欠佳，凸显了句子级跨语言预训练的优势。
• 课程学习策略对日语数据训练至关重要，因为使用所有否定规则的全量数据训练导致无法收敛，表明日语否定模式具有更高复杂性。