[论文解读] Position: Considerations for Differentially Private Learning with Large-Scale Public Pretraining

Florian Tramèr, Gautam Kamath+1 more|arXiv (Cornell University)|Dec 13, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文批判了在差分隐私机器学习中使用大规模公开网络爬取数据集进行模型预训练的做法，认为此类预训练会削弱隐私声明，且在敏感领域可能无法提升模型效用。文章挑战了‘公开数据即隐私中立’的假设，呼吁采取更负责任的数据实践、开发更好的基准测试，并在模型级差分隐私之外进行更全面的隐私考量。

ABSTRACT

The performance of differentially private machine learning can be boosted significantly by leveraging the transfer learning capabilities of non-private models pretrained on large public datasets. We critically review this approach. We primarily question whether the use of large Web-scraped datasets should be viewed as differential-privacy-preserving. We caution that publicizing these models pretrained on Web data as "private" could lead to harm and erode the public's trust in differential privacy as a meaningful definition of privacy. Beyond the privacy considerations of using public data, we further question the utility of this paradigm. We scrutinize whether existing machine learning benchmarks are appropriate for measuring the ability of pretrained models to generalize to sensitive domains, which may be poorly represented in public Web data. Finally, we notice that pretraining has been especially impactful for the largest available models -- models sufficiently large to prohibit end users running them on their own devices. Thus, deploying such models today could be a net loss for privacy, as it would require (private) data to be outsourced to a more compute-powerful third party. We conclude by discussing potential paths forward for the field of private learning, as public pretraining becomes more popular and powerful.

研究动机与目标

• 挑战在差分隐私学习中预训练使用公开网络数据即为隐私中立的假设。
• 质疑当前基准是否准确反映私有模型在敏感现实领域中的效用。
• 指出在第三方基础设施上部署大型私有模型可能因数据外包而增加隐私风险。
• 倡导在数据收集环节，特别是针对互联网来源的训练数据，实施更细致的隐私考量。
• 呼吁开发更能反映真实隐私敏感任务的基准，而非依赖标准机器学习基准。

提出的方法

• 分析使用网络爬取数据集进行预训练的隐私影响，尤其是此类数据可能包含敏感信息的情况。
• 批判使用标准机器学习基准（如 ImageNet、GLUE）评估私有学习的做法，认为其无法捕捉现实世界中的隐私约束。
• 建议未来基础模型应通过显式隐私保护机制（如同意机制或数据源层面的差分隐私）进行预训练。
• 建议开发反映隐私敏感领域的新基准，这些领域中数据可能代表性不足或高度敏感。
• 倡导从以模型为中心的研究转向涵盖数据收集、数据生命周期和模型部署实践的全面隐私研究。

实验结果

研究问题

• RQ1 鉴于可能存在对敏感内容的记忆化，大规模公开网络数据的预训练是否真正与差分隐私兼容？
• RQ2 当前用于私有学习的基准在多大程度上反映了在隐私敏感领域部署模型的真实挑战？
• RQ3 当模型在第三方基础设施上部署时，使用网络数据进行公开预训练是否可能导致净隐私损失？
• RQ4 我们如何在二元分类（‘公开’ vs ‘私有’）之外，为互联网来源的训练数据建立更细致的隐私标准？
• RQ5 在可能包含个人识别信息或敏感信息但未明确标注的数据上预训练大型模型，会产生何种影响，即使这些信息未被明确标记？

主要发现

• 在网页爬取数据上进行预训练并不能保证隐私，因为此类数据可能包含敏感或个人识别信息，这些信息可能被记忆并重新输出。
• 使用 ImageNet 和 GLUE 等标准基准可能给人造成私有学习进展的错觉，因为这些数据集可通过公开预训练‘免费’实现私有解决。
• 即使具备强大的差分隐私保证（例如 ε=1），在公开预训练后对私有数据进行微调的模型仍可能带来隐私风险，前提是预训练数据本身并未尊重隐私。
• 当前范式可能导致净隐私损失，因为用户必须将私有数据外包给计算能力更强的第三方以运行大型模型。
• 目前尚无可靠的私有学习基准能与现实世界中的隐私敏感任务良好相关，从而削弱了对进展的衡量。