[论文解读] PolicyGPT: Automated Analysis of Privacy Policies with Large Language Models

Chenhao Tang, Zhengliang Liu+9 more|arXiv (Cornell University)|Sep 19, 2023

Privacy-Preserving Technologies in Data被引用 16

一句话总结

PolicyGPT 使用大型语言模型在零-shot 框架下对隐私政策文本进行分类，在 OPP-115（网页政策）上达到 97% 的准确率，在 PPGDPR（移动应用政策）上达到 87% 的准确率，超过基线。

ABSTRACT

Privacy policies serve as the primary conduit through which online service providers inform users about their data collection and usage procedures. However, in a bid to be comprehensive and mitigate legal risks, these policy documents are often quite verbose. In practical use, users tend to click the Agree button directly rather than reading them carefully. This practice exposes users to risks of privacy leakage and legal issues. Recently, the advent of Large Language Models (LLM) such as ChatGPT and GPT-4 has opened new possibilities for text analysis, especially for lengthy documents like privacy policies. In this study, we investigate a privacy policy text analysis framework PolicyGPT based on the LLM. This framework was tested using two datasets. The first dataset comprises of privacy policies from 115 websites, which were meticulously annotated by legal experts, categorizing each segment into one of 10 classes. The second dataset consists of privacy policies from 304 popular mobile applications, with each sentence manually annotated and classified into one of another 10 categories. Under zero-shot learning conditions, PolicyGPT demonstrated robust performance. For the first dataset, it achieved an accuracy rate of 97%, while for the second dataset, it attained an 87% accuracy rate, surpassing that of the baseline machine learning and neural network models.

研究动机与目标

• 在 GDPR 时代让用户更易理解和可操作隐私政策的必要性成为动机。
• 提出一个基于大型语言模型的框架（PolicyGPT）来分析和分类政策文本。
• 在两个经过专家注释的隐私政策数据集（OPP-115 和 PPGDPR）上对 PolicyGPT 进行零-shot 条件下的评估。
• 将 LLM 的性能与传统机器学习基线和神经模型在分段分类上的表现进行比较。

提出的方法

• 引入一个三段前缀提示，以对 LLM 编码分类定义和任务上下文。
• 采用两步流程：(1) 制定任务内容和类别定义；(2) 将目标文本和提示提供给 LLM（ChatGPT、GPT-4、Claude2）进行分类。
• 使用零-shot 提示（通过 A/B 测试显示少量示例提示增益有限且代币成本更高）以获得类别预测。
• 通过网络爬取和文本提取预处理隐私政策，将其分成句子或段落，并将这些段落映射到每个数据集中十个类别中的一个。
• 在与人工标注的结果对比时，以准确率为主要指标，并在可用时报告宏平均和微平均性能。

实验结果

研究问题

• RQ1 大型语言模型是否可以在不进行任务特定训练的情况下，准确地将隐私政策段落分类为预定义类别？
• RQ2 零-shot LLM 的性能与传统基线（如 SVM、LR、HMM、LSTM、BERT）在隐私政策分类任务中的差异？
• RQ3 数据集类型（基于网页的 OPP-115 与基于移动应用的 PPGDPR）对分类性能的影响？
• RQ4 少样本提示对本任务是否有利，还是在 LLM 的规模下零-shot 提示就足够？

主要发现

• 零-shot PolicyGPT 在 OPP-115 的隐私政策段落分类上达到 97% 的准确率，在 PPGDPR 上达到 87% 的准确率。
• PolicyGPT 在各自数据集上优于包括 Polisis 和传统 ML/DNN 方法在内的基线模型。
• 少样本提示并未显著提升准确率，且产生更高的代币成本，因此采用零-shot 提示。
• 带前缀提示和明确类别描述的提示设计使 LLM 能吸收关于隐私类别和目标文本的语义信息。