[论文解读] Quantifying Association Capabilities of Large Language Models and Its Implications on Privacy Leakage

Hanyin Shao, Jie Huang+2 more|arXiv (Cornell University)|May 22, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文量化了大型语言模型（LLMs）在将个人身份信息（PII）与个体关联方面的能力，发现更大的模型在训练数据中PII频繁或紧密共现时表现出更强的关联能力。尽管在PII上的整体准确率低于常识知识，但当仅以姓名为提示时，模型仍能正确预测约3%的电子邮件地址和1%的电话号码，凸显了非微不足道的隐私泄露风险。

ABSTRACT

The advancement of large language models (LLMs) brings notable improvements across various applications, while simultaneously raising concerns about potential private data exposure. One notable capability of LLMs is their ability to form associations between different pieces of information, but this raises concerns when it comes to personally identifiable information (PII). This paper delves into the association capabilities of language models, aiming to uncover the factors that influence their proficiency in associating information. Our study reveals that as models scale up, their capacity to associate entities/information intensifies, particularly when target pairs demonstrate shorter co-occurrence distances or higher co-occurrence frequencies. However, there is a distinct performance gap when associating commonsense knowledge versus PII, with the latter showing lower accuracy. Despite the proportion of accurately predicted PII being relatively small, LLMs still demonstrate the capability to predict specific instances of email addresses and phone numbers when provided with appropriate prompts. These findings underscore the potential risk to PII confidentiality posed by the evolving capabilities of LLMs, especially as they continue to expand in scale and power.

研究动机与目标

• 研究语言模型如何通过上下文提示将个人身份信息（PII）与个体关联。
• 衡量模型规模、共现频率以及共现距离对关联性能的影响。
• 在两个不同数据集（Enron邮件和LAMA）中比较PII与常识知识的关联能力。
• 评估由于关联而非仅记忆导致的PII泄露隐私风险，尤其是在日益强大的LLMs中。
• 为减少部署中LLMs的PII泄露提供可操作的缓解策略。

提出的方法

• 本研究在两个数据集上评估了不同规模的LLMs：一个包含邮件往来（Enron）用于PII关联，另一个（LAMA）用于常识知识。
• 通过向模型提供姓名并评估其预测对应PII（如电子邮件地址、电话号码）的能力来衡量关联性能。
• 量化训练数据中实体对之间的共现频率和距离，并将其与模型预测准确率相关联。
• 分析不同模型规模下的性能表现，揭示模型规模对关联能力的影响。
• 提出隐私缓解策略，包括提示过滤、输入/输出内容过滤以及API速率限制，以降低泄露风险。
• 所有实验均在公开可用的模型和数据上进行，PII已匿名化处理（如“John Doe”、“[e-mail]”），以确保伦理合规。

实验结果

研究问题

• RQ1 模型规模如何影响LLMs将PII与个体关联的能力？
• RQ2 实体之间的共现频率和距离在多大程度上影响LLMs的关联准确率？
• RQ3 LLMs在PII上的关联表现与在常识知识上的表现相比如何？
• RQ4 当仅以个人姓名为提示时，LLMs能否准确预测特定PII（如电子邮件地址、电话号码）？
• RQ5 在部署的LLMs中，减少通过关联导致的PII泄露的最有效缓解策略是什么？

主要发现

• 更大的语言模型表现出显著更强的关联能力，尤其是在训练数据中实体共现频率高且共现距离短的情况下。
• 尽管整体准确率较低，但当仅以姓名为提示时，LLMs仍能正确预测约3%的电子邮件地址和1%的电话号码。
• LLMs在PII上的关联表现远低于在常识知识上的表现，表明通用知识与敏感个人数据之间存在显著性能差距。
• LLMs的关联能力随模型规模增加而提升，但超过某一临界点后提升趋于平缓，表明存在收益递减现象。
• 训练数据质量与任务复杂性显著影响模型关联PII的能力，噪声更多或更复杂的数据会降低性能。
• 随着LLMs在通用知识关联方面能力的增强，PII的并行关联风险也随之上升，因此亟需主动实施隐私保护措施。