[论文解读] What Does it Mean for a Language Model to Preserve Privacy?

Hannah Brown, Katherine Lee+3 more|arXiv (Cornell University)|Feb 11, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文认为，当前用于语言模型的隐私保护技术——如数据净化和差分隐私——由于对数据结构和敏感性的假设过于狭窄，无法满足人类对隐私的期望。作者得出结论：唯有在明确意图公开使用的文本上训练的语言模型，才能真正实现隐私保护，因为现有方法无法实现语境完整性和知情同意。

ABSTRACT

Natural language reflects our private lives and identities, making its privacy concerns as broad as those of real life. Language models lack the ability to understand the context and sensitivity of text, and tend to memorize phrases present in their training sets. An adversary can exploit this tendency to extract training data. Depending on the nature of the content and the context in which this data was collected, this could violate expectations of privacy. Thus there is a growing interest in techniques for training language models that preserve privacy. In this paper, we discuss the mismatch between the narrow assumptions made by popular data protection techniques (data sanitization and differential privacy), and the broadness of natural language and of privacy as a social norm. We argue that existing protection methods cannot guarantee a generic and meaningful notion of privacy for language models. We conclude that language models should be trained on text data which was explicitly produced for public use.

研究动机与目标

• 分析技术隐私保护与自然语言中人类隐私期望之间的错配。
• 批判数据净化和差分隐私在保护敏感语言数据方面的局限性。
• 论证由于文本中私人信息具有集体性和语境性，用户实际上难以实现知情同意。
• 提出语言模型应仅在明确意图公开使用的文本上进行训练。
• 倡导从数据保护转向基于公开意图文本的隐私保护训练。

提出的方法

• 本文对语言模型中的隐私问题进行了概念性与规范性分析，对比了技术假设与社会隐私规范。
• 通过考察其无法识别形式模式之外的语义敏感内容，评估数据净化技术。
• 通过强调其依赖于定义明确的数据记录，而这些记录与语言中流动的、群体性的私密性质不一致，批判差分隐私。
• 引入语境完整性作为隐私的基准，要求模型尊重数据使用的原始语境。
• 提出一种实用替代方案：仅在明确意图公开传播的文本上训练语言模型。
• 建议在私有数据上进行本地微调，作为在个性化场景中保护用户隐私的补充方法。

实验结果

研究问题

• RQ1 数据净化技术能否可靠地识别并从自然语言文本中移除所有形式的私人信息？
• RQ2 差分隐私在面对具有模糊或集体边界的自然语言数据时，能在多大程度上提供有意义的隐私保障？
• RQ3 用户能否对其私人文本被用于语言模型训练给予有意义的知情同意？
• RQ4 在考虑人类社会规范的前提下，语言模型语境中‘有意义’的隐私保障应如何界定？
• RQ5 如果不依赖数据保护技术，是否可能在语言模型中实现真正的隐私保护？

主要发现

• 数据净化无法识别大多数语义隐私信息，因为它依赖于无法捕捉语境敏感性的正式规范。
• 差分隐私仅提供有限保护，因为它假设存在定义明确的个体数据记录，而这些记录无法反映语言的集体性和语境性。
• 用户无法对其数据被用于语言模型训练给予知情同意，因为他们通常不了解其数据如何被存储、处理或共享。
• 文本中的敏感信息经常在多人之间共享，使得个体同意既不充分也不现实。
• 在公开可访问数据上训练的语言模型仍可能侵犯隐私，因为此类数据未必是为公开使用而准备的。
• 唯一可行的真正隐私保护路径是仅在明确意图公开传播的文本上训练语言模型。