[论文解读] Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset

Peter Henderson, Mark Krass+5 more|arXiv (Cornell University)|Jul 1, 2022

Artificial Intelligence in Law被引用 44

一句话总结

论文介绍了 Pile of Law，一个 ~256GB 的开源法律数据集，用于研究以法律为依据的数据过滤，并展示如何从中学习上下文隐私与有害性过滤，以引导负责任的大语言模型预训练。

ABSTRACT

One concern with the rise of large language models lies with their potential for significant harm, particularly from pretraining on biased, obscene, copyrighted, and private information. Emerging ethical approaches have attempted to filter pretraining material, but such approaches have been ad hoc and failed to take context into account. We offer an approach to filtering grounded in law, which has directly addressed the tradeoffs in filtering material. First, we gather and make available the Pile of Law, a 256GB (and growing) dataset of open-source English-language legal and administrative data, covering court opinions, contracts, administrative rules, and legislative records. Pretraining on the Pile of Law may help with legal tasks that have the promise to improve access to justice. Second, we distill the legal norms that governments have developed to constrain the inclusion of toxic or private content into actionable lessons for researchers and discuss how our dataset reflects these norms. Third, we show how the Pile of Law offers researchers the opportunity to learn such filtering rules directly from the data, providing an exciting new research direction in model-based processing.

研究动机与目标

• 策划并开源一个 ~256GB 的法律与行政数据数据集（Pile of Law），以研究数据净化规范。
• 目录化政府法律法规如何影响用于模型预训练数据的隐私与有害性约束。
• 证明可以从法律数据中学习隐式净化规则来指导过滤。
• 提供可操作的见解与框架，从法律规范中学习上下文隐私与有害性标准。

提出的方法

• 从包括法院意见、合同、法规、规章和政府公报在内的35个来源整理数据。
• 基于美国法律体系及附录，对隐私与有害性过滤规范进行特征化与讨论。
• 在 Pile of Law 上训练初始的等同于 BERT-large 的模型并报告基线结果（附录 F）。
• 开发案例研究和学习方法，从数据集中推断上下文隐私规则（如伪匿名性决定）。
• 在不同模型及时间范围内评估有害性过滤，突出一致/分歧和上下文因素（附录）。
• 演示如何学习隐式净化规则，以模仿法律涂抹/删减机制。

实验结果

研究问题

• RQ1 法律规范如何为大语言模型预训练中的数据净化实践提供指引？
• RQ2 是否可以直接从 Pile of Law 数据集中学习到上下文与司法辖区的隐私规则？
• RQ3 有害性定义与过滤在时间和语境上如何与法律规范对齐？
• RQ4 将现有有害性过滤应用于法律文本时的局限性是什么，如何通过从法律数据中学习来解决？

主要发现

• 作者整理并开源来自35个来源的 ~256GB 法律与行政数据数据集，以研究数据过滤规范。
• 在 Pile of Law 上进行预训练可能有助于应对具有挑战性的法律任务，并且结果可与高度上下文特异的模型相媲美（附录 F）。
• Pile of Law 编码按司法辖区和情境变化的隐私与有害性规范，使得学习上下文隐私规则（如伪匿名性）和上下文有害性考量成为可能。
• 有害性过滤在模型间存在分歧，并对内容长度和情境敏感，表明需要更鲁棒、与价值观对齐的过滤方法。
• 数据集使得学习上下文感知的过滤规则并衡量与法律规范的一致性成为可能，凸显当前净化技术的不足并指导未来研究。