[论文解读] Privacy-preserving Machine Learning through Data Obfuscation

Tianwei Zhang, Zecheng He+1 more|arXiv (Cornell University)|Jul 5, 2018

Privacy-Preserving Technologies in Data参考文献 32被引用 66

一句话总结

论文提出一个通用的数据混淆框架，通过扰动敏感样本并对组进行扩增，在保护训练数据隐私的同时保持模型准确性，并能抵御多种隐私攻击。

ABSTRACT

As machine learning becomes a practice and commodity, numerous cloud-based services and frameworks are provided to help customers develop and deploy machine learning applications. While it is prevalent to outsource model training and serving tasks in the cloud, it is important to protect the privacy of sensitive samples in the training dataset and prevent information leakage to untrusted third parties. Past work have shown that a malicious machine learning service provider or end user can easily extract critical information about the training samples, from the model parameters or even just model outputs. In this paper, we propose a novel and generic methodology to preserve the privacy of training data in machine learning applications. Specifically we introduce an obfuscate function and apply it to the training data before feeding them to the model training task. This function adds random noise to existing samples, or augments the dataset with new samples. By doing so sensitive information about the properties of individual samples, or statistical properties of a group of samples, is hidden. Meanwhile the model trained from the obfuscated dataset can still achieve high accuracy. With this approach, the customers can safely disclose the data or models to third-party providers or end users without the need to worry about data privacy. Our experiments show that this approach can effective defeat four existing types of machine learning privacy attacks at negligible accuracy cost.

研究动机与目标

• 分析MLaaS中的隐私威胁并对泄露来源和类型进行分类。
• 提出一种通用的数据混淆方法以隐藏训练数据的个人属性和组属性。
• 证明混淆在最小化准确率影响的前提下能够抵御多种隐私攻击。
• 提供关于混淆参数的指南，以在隐私与效用之间取得平衡。

提出的方法

• 在客户端引入一个Obfuscate模块，在外包训练数据之前进行预处理。
• ObfuscateIndividualSample对敏感样本的选定特征添加噪声以隐藏个人属性。
• ObfuscateGroupSample通过合成样本（阴性样本加噪声）来扩增组，以隐藏组级统计信息。
• 提供两种威胁模型情境：完整数据访问和黑盒模型访问，并分析隐私-效用权衡。
• 在四种攻击类型上评估隐私性：模型记忆、成员资格推断、模型反演和模型分类攻击，且精度成本极小。

实验结果

研究问题

• RQ1 在攻击者获取数据、模型参数或输出时，数据混淆是否能防止个别训练样本属性泄露？
• RQ2 通过合成数据对组进行混淆，是否能隐藏统计属性而不显著损害模型准确性？
• RQ3 哪些有效的参数设置（噪声水平、特征比例、扩增比例）可以在隐私与效用之间取得平衡？
• RQ4 所提混淆技术是否在MLaaS情景下能够击败多种已知的ML隐私攻击？
• RQ5 两种混淆策略（个体与组）在不同威胁模型下的比较表现如何？

主要发现

• 通过对部分特征添加噪声来混淆个别样本，减少直接数据访问带来的泄露，同时保持训练效率和适度的准确率损失。
• 通过对组样本添加合成、符号相反的样本并加入噪声来混淆组级统计信息，而不会显著降低模型准确性。
• 在测试场景下，该方法能有效击败四种隐私攻击（记忆、成员资格推断、模型反演和模型分类）。
• 噪声强度与被扰动特征的比例(r)影响隐私-效用权衡，经验结果显示在报告的案例中准确率下降小于5%。
• 数据混淆为MLaaS提供一种通用、与模型无关的隐私保护，即使第三方访问数据、模型或输出也能降低数据泄露风险。