[论文解读] NLP-based Automated Compliance Checking of Data Processing Agreements against GDPR

Orlando Amaral, Muhammad Ilyas Azeem+2 more|arXiv (Cornell University)|Sep 20, 2022

Digitalization, Law, and Regulation被引用 7

一句话总结

本文提出了一种基于自然语言处理（NLP）的自动化方法，通过将GDPR中的'应'要求建模为语义框架，并与DPA文本进行对比，以检查数据处理协议（DPA）对GDPR的合规性。该方法在30份真实DPA上的测试中实现了84.6%的准确率、89.1%的精确率和82.4%的召回率，相较于现成的NLP基线模型在准确率上提升了约20个百分点。

ABSTRACT

Processing personal data is regulated in Europe by the General Data Protection Regulation (GDPR) through data processing agreements (DPAs). Checking the compliance of DPAs contributes to the compliance verification of software systems as DPAs are an important source of requirements for software development involving the processing of personal data. However, manually checking whether a given DPA complies with GDPR is challenging as it requires significant time and effort for understanding and identifying DPA-relevant compliance requirements in GDPR and then verifying these requirements in the DPA. In this paper, we propose an automated solution to check the compliance of a given DPA against GDPR. In close interaction with legal experts, we first built two artifacts: (i) the "shall" requirements extracted from the GDPR provisions relevant to DPA compliance and (ii) a glossary table defining the legal concepts in the requirements. Then, we developed an automated solution that leverages natural language processing (NLP) technologies to check the compliance of a given DPA against these "shall" requirements. Specifically, our approach automatically generates phrasal-level representations for the textual content of the DPA and compares it against predefined representations of the "shall" requirements. Over a dataset of 30 actual DPAs, the approach correctly finds 618 out of 750 genuine violations while raising 76 false violations, and further correctly identifies 524 satisfied requirements. The approach has thus an average precision of 89.1%, a recall of 82.4%, and an accuracy of 84.6%. Compared to a baseline that relies on off-the-shelf NLP tools, our approach provides an average accuracy gain of ~20 percentage points. The accuracy of our approach can be improved to ~94% with limited manual verification effort.

研究动机与目标

• 解决手动验证DPA对GDPR合规性所面临的挑战，由于法律文本复杂，该过程耗时且易出错。
• 通过自动化DPA合规性检查，减轻法律和软件工程团队的负担。
• 通过自动化分析，为DPA中缺失的合规要求提供可操作的改进建议。
• 建立一种可复用的方法论，适用于GDPR和DPA之外的其他监管合规性检查。
• 通过将GDPR义务形式化为机器可处理的形式，弥合法律要求与软件需求工程之间的鸿沟。

提出的方法

• 通过与法律专家合作，从与DPA合规性相关的GDPR条款中提取'应'要求。
• 构建法律概念词典，以消除合规要求中术语的歧义。
• 定义语义框架（SFs），用于表示每个'应'要求的结构，捕捉谓词-论元关系。
• 使用NLP技术，从DPA的文本内容中自动生成基于语义框架的表示。
• 通过设定相似度阈值，将DPA的表示与预定义的GDPR要求表示进行对比。
• 识别合规与不合规的条款，并为缺失或规定不足的义务提供改进建议。

实验结果

研究问题

• RQ1 基于NLP的方法能否在真实DPA中准确检测出与GDPR要求不符的合规性违规？
• RQ2 所提出的方法在合规性检查性能上与现成的NLP流水线相比如何？
• RQ3 该方法在多大程度上可推广至GDPR和DPA之外的其他法规和文档类型？
• RQ4 有限的人工验证是否能显著提升自动化合规检查系统的准确率？
• RQ5 语义框架在建模法律要求以实现自动化合规评估方面有多有效？

主要发现

• 所提出的方法在30份真实DPA的数据集上实现了84.6%的平均准确率，正确识别了750个真实违规中的618个。
• 该方法表现出89.1%的精确率和82.4%的召回率，表明在减少误报的同时，能够有效捕获大多数实际违规。
• 与使用现成NLP工具的基线相比，该方法在准确率上平均提升了约20个百分点。
• 在DPA语句的小部分子集上进行有限的人工验证后，该方法的准确率可提升至约94%。
• 该方法成功识别出524个已满足的要求，证明其能够正确标记合规条款。
• 该方法具有可推广性，适用于其他法规和文档类型，其可扩展的方法论包括需求获取、语义框架定义、数据集整理和自动化开发。