[论文解读] Understanding Training-Data Leakage from Gradients in Neural Networks for Image Classification

Cangxiong Chen, Neill D. F. Campbell|arXiv (Cornell University)|Nov 19, 2021

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出COPA，一种新颖方法，通过深度神经网络中的梯度重建图像分类的训练图像。通过将重建问题表述为利用各层权重和梯度的线性系统，COPA揭示了网络架构设计——尤其是宽的早期卷积层——显著增加了数据泄露风险，从而提出新的度量指标 $ c(M) $，用于量化模型对这类攻击的脆弱性。

ABSTRACT

Federated learning of deep learning models for supervised tasks, e.g. image classification and segmentation, has found many applications: for example in human-in-the-loop tasks such as film post-production where it enables sharing of domain expertise of human artists in an efficient and effective fashion. In many such applications, we need to protect the training data from being leaked when gradients are shared in the training process due to IP or privacy concerns. Recent works have demonstrated that it is possible to reconstruct the training data from gradients for an image-classification model when its architecture is known. However, there is still an incomplete theoretical understanding of the efficacy and failure of such attacks. In this paper, we analyse the source of training-data leakage from gradients. We formulate the problem of training data reconstruction as solving an optimisation problem iteratively for each layer. The layer-wise objective function is primarily defined by weights and gradients from the current layer as well as the output from the reconstruction of the subsequent layer, but it might also involve a 'pull-back' constraint from the preceding layer. Training data can be reconstructed when we solve the problem backward from the output of the network through each layer. Based on this formulation, we are able to attribute the potential leakage of the training data in a deep network to its architecture. We also propose a metric to measure the level of security of a deep learning model against gradient-based attacks on the training data.

研究动机与目标

• 理解深度神经网络中训练数据如何从模型梯度中被重建的机制。
• 为训练数据泄露构建一个可推广的理论框架，适用于卷积层，超越以往方法如DLG和R-GAP。
• 识别CNN中增加共享梯度下图像重建风险的架构因素。
• 提出一个定量度量指标 $ c(M) $，用于估计模型对基于梯度的重建攻击的抗性。
• 通过将架构选择与泄露风险关联，指导设计更具隐私保护性的深度学习模型。

提出的方法

• COPA将重建问题表述为求解各层前向与反向传播方程所导出的线性系统。
• 利用卷积权重和梯度的循环矩阵表示，表达权重、梯度与激活之间的约束关系。
• 对于全连接层，由于不存在权重共享，可闭式求解输入。
• 对于卷积层，COPA通过块矩阵 $ U^{(i)} $ 和 $ V^{(i)} $ 将权重与梯度约束整合为二次优化问题。
• 该方法从高层向低层反向传播约束，以估计 $ Z^{(i)} $ 和 $ \nabla_{Z^{(i)}}J $，从而实现迭代重建。
• 最后应用后处理总变差去噪步骤，以提升重建质量。

实验结果

研究问题

• RQ1 CNN的哪些架构特性使其容易从梯度中重建出训练图像？
• RQ2 如何仅使用梯度和模型架构，将单个训练图像的重建表述为约束优化问题？
• RQ3 权重共享和层特定维度在促进或限制通过梯度实现的数据泄露中起到什么作用？
• RQ4 能否构建一个统一的理论框架，以解释不同层类型（尤其是卷积层）下的基于梯度的数据泄露？
• RQ5 所提出的度量指标 $ c(M) $ 在实际中与重建质量的相关性如何？

主要发现

• COPA仅使用模型架构和标签信息，成功从梯度中高保真度地重建出训练图像，尤其在某些架构中表现优异。
• 度量指标 $ c(M) $ 与重建质量高度相关：$ c(M) = 0 $ 的模型可被完全重建，如CNN3变体1和变体3所示。
• 与变体2和4相比，变体1（$ c(M) = -2267 $）和变体3（$ c(M) = 0 $）展现出更优的重建质量。
• 变体1和3的第一层对度量指标的贡献为0（$ \operatorname{rank}(U^{(1)}) = |X| $），表明该层具有最大的泄露潜力。
• 深层的回拉约束对重建质量影响有限，表明早期层架构在泄露风险中起主导作用。
• 所提出的度量指标 $ c(M) $ 为模型对COPA式攻击的脆弱性提供了一个可靠、基于架构的预测工具，可支持隐私保护的主动模型设计。