[论文解读] Privacy Inference Attacks and Defenses in Cloud-based Deep Neural Network: A Survey

Xiaoyu Zhang, Chao Chen+4 more|arXiv (Cornell University)|May 13, 2021

Privacy-Preserving Technologies in Data参考文献 138被引用 4

一句话总结

本综述对基于云的深度神经网络（DNN）中的隐私推断攻击与防御进行了全面分析，系统性地对数据处理、训练和预测阶段的威胁进行了分类。它提出了基于云的机器学习隐私博弈框架，回顾了最先进的防御技术——包括差分隐私、对抗性训练和密码学方法——并指出了在隐私、可用性和效率之间取得平衡的关键挑战。

ABSTRACT

Deep Neural Network (DNN), one of the most powerful machine learning algorithms, is increasingly leveraged to overcome the bottleneck of effectively exploring and analyzing massive data to boost advanced scientific development. It is not a surprise that cloud computing providers offer the cloud-based DNN as an out-of-the-box service. Though there are some benefits from the cloud-based DNN, the interaction mechanism among two or multiple entities in the cloud inevitably induces new privacy risks. This survey presents the most recent findings of privacy attacks and defenses appeared in cloud-based neural network services. We systematically and thoroughly review privacy attacks and defenses in the pipeline of cloud-based DNN service, i.e., data manipulation, training, and prediction. In particular, a new theory, called cloud-based ML privacy game, is extracted from the recently published literature to provide a deep understanding of state-of-the-art research. Finally, the challenges and future work are presented to help researchers to continue to push forward the competitions between privacy attackers and defenders.

研究动机与目标

• 系统分析基于云的深度神经网络（DNN）服务在整个流程中（数据处理、训练和预测）的隐私威胁：数据处理、训练和预测阶段。
• 对四类主要的隐私推断攻击进行分类与评估：成员推理、属性推理、模型反演和模型提取攻击。
• 回顾并综合最先进的防御机制，包括差分隐私、对抗性训练、水印技术和密码学方法。
• 提出基于云的机器学习隐私博弈框架，作为理解DNN隐私中攻击者与防御者动态关系的理论基础。
• 识别在安全的基于云的DNN中实现隐私、模型可用性和计算效率之间可持续平衡的关键开放挑战与未来研究方向。

提出的方法

• 本文对过去五年内在同行评审期刊上发表的关于基于云的DNN中隐私问题的研究进行了系统性文献综述。
• 根据攻击者的目标和访问级别，将隐私攻击分为四类：成员推理、属性推理、模型反演和模型提取。
• 从三个维度分析防御措施：数据级（例如，差分隐私、数据扰动）、模型级（例如，对抗性训练、梯度掩蔽）和系统级（例如，同态加密、安全多方计算）。
• 形式化定义了基于云的机器学习隐私博弈框架，以建模DNN隐私中攻击者与防御者之间的战略互动。
• 基于隐私保障、模型可用性和计算效率评估防御机制，识别其在实际部署中的权衡。
• 提出一项研究议程，重点关注协作学习环境中动态隐私预算分配、针对异构数据贡献者的定制化保护，以及为DNN训练框架形式化隐私优先设计原则。

实验结果

研究问题

• RQ1 在基于云的DNN服务中，数据处理、训练和预测阶段的主要隐私威胁是什么？
• RQ2 不同类型的隐私推断攻击——成员推理、属性推理、模型反演和模型提取——如何利用基于云的DNN中的漏洞？
• RQ3 在基于云的DNN中，保护数据、模型和查询隐私的最有效防御机制是什么？其权衡关系如何？
• RQ4 如何利用基于云的机器学习隐私博弈框架来建模和分析隐私攻击者与防御者之间的战略互动？
• RQ5 在安全的DNN云外包中，实现隐私、模型可用性和计算效率之间可持续平衡的关键开放挑战是什么？

主要发现

• 成员推理攻击可仅通过黑盒访问成功判断某个数据样本是否属于模型的训练集，对数据隐私构成重大威胁。
• 模型反演攻击可从模型输出重建出敏感的训练数据样本，尤其当模型在医疗记录等私密或敏感数据上进行训练时更为显著。
• 模型提取攻击允许攻击者仅通过查询访问，便以高精度克隆目标DNN的功能，从而威胁模型的知识产权。
• 密码学防御方法如全同态加密（FHE）和安全多方计算（SMC）可提供强隐私保障，但会带来较高的计算和通信开销。
• 差分隐私机制可有效限制信息泄露，但引入了隐私与模型可用性之间的权衡，即更强的隐私保护会导致预测准确率下降。
• 未来研究必须聚焦于协作学习环境中动态、个性化的隐私预算分配，以满足多样化参与者的隐私需求，同时保持模型可用性。