[论文解读] R-GAP: Recursive Gradient Attack on Privacy

Junyi Zhu, Matthew B. Blaschko|arXiv (Cornell University)|Oct 15, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用 4

一句话总结

本文提出R-GAP，一种闭式递归梯度攻击方法，可从深度神经网络的模型梯度中重建训练数据，其在速度和稳定性方面优于基于优化的方法，同时实现相当或更优的重建质量。该研究首次为卷积网络和全连接网络中的基于梯度的数据恢复提供了理论分析框架，并引入一种新颖的秩分析方法，可预测攻击可行性并指导安全的网络架构设计，且不损失模型准确率。

ABSTRACT

Federated learning frameworks have been regarded as a promising approach to break the dilemma between demands on privacy and the promise of learning from large collections of distributed data. Many such frameworks only ask collaborators to share their local update of a common model, i.e. gradients with respect to locally stored data, instead of exposing their raw data to other collaborators. However, recent optimization-based gradient attacks show that raw data can often be accurately recovered from gradients. It has been shown that minimizing the Euclidean distance between true gradients and those calculated from estimated data is often effective in fully recovering private data. However, there is a fundamental lack of theoretical understanding of how and when gradients can lead to unique recovery of original data. Our research fills this gap by providing a closed-form recursive procedure to recover data from gradients in deep neural networks. We name it Recursive Gradient Attack on Privacy (R-GAP). Experimental results demonstrate that R-GAP works as well as or even better than optimization-based approaches at a fraction of the computation under certain conditions. Additionally, we propose a Rank Analysis method, which can be used to estimate the risk of gradient attacks inherent in certain network architectures, regardless of whether an optimization-based or closed-form-recursive attack is used. Experimental results demonstrate the utility of the rank analysis towards improving the network's security. Source code is available for download from https://github.com/JunyiZhu-AI/R-GAP.

研究动机与目标

• 为解决当前对梯度在何时以及如何唯一揭示深度学习中训练数据缺乏理论理解的问题。
• 开发一种比基于优化的梯度攻击更快、更确定的替代方法，避免陷入局部最优和收敛问题。
• 为卷积网络和全连接网络中的梯度数据重建提供闭式解法。
• 提出一种基于秩的分析方法，用于预测不同网络架构中基于梯度的隐私攻击风险。
• 证明基于秩分析指导的架构修改可在不降低模型准确率的前提下提升模型安全性。

提出的方法

• R-GAP采用递归的、按深度逐层的算法，通过闭式解法逐层反演梯度，避免迭代优化过程。
• 该方法通过反向传播梯度信息，推导出重建输入数据的解析表达式。
• 其适用于卷积层和全连接层，包括无偏置项的层，因此比以往的解析攻击方法更具通用性。
• 秩分析通过评估梯度聚合矩阵的秩，基于架构约束预测是否可实现完整恢复或仅能实现噪声恢复。
• 该方法识别出关键层（如ResNet中的残差块），其结构修改（如移除跳跃连接）可增强对攻击的抵抗能力。
• 通过与DLG对比验证方法的有效性，采用均方误差（MSE）和视觉保真度作为评估指标，比较重建质量和计算成本。

实验结果

研究问题

• RQ1 在何种条件下，梯度可唯一恢复深度神经网络中的原始训练数据？
• RQ2 神经网络的递归结构如何实现从梯度中闭式重建输入？
• RQ3 哪些架构特性使某些网络更容易受到基于梯度的数据恢复攻击？
• RQ4 基于秩的分析能否预测不同网络架构中梯度攻击的可行性？
• RQ5 如何通过架构修改在不降低模型准确率的前提下提高对梯度攻击的抵抗能力？

主要发现

• R-GAP在计算时间上比DLG减少90%，且实现确定性收敛，重建质量与DLG相当或更优。
• 在LeNet上，R-GAP的MSE为1.1×10⁻⁴，显著低于DLG的3.7×10⁻⁸，表明其重建保真度更优。
• 在LeNet*上，R-GAP将MSE降低至1.5×10⁻¹⁰，而DLG的MSE上升至5.2×10⁻²，证明R-GAP在稳定性和优越性方面表现更佳。
• 秩分析成功识别出ResNet-18中的第三残差块为攻击成败的关键，移除其跳跃连接后重建误差几乎增加三倍。
• 基于秩分析指导的架构修改可提升防御能力且不损失准确率，在CIFAR-10上，改进变体的性能与原始模型相当或略有提升。
• 该分析解释了为何DLG对初始化敏感，并识别出同类别图像为最优初始化方式，与R-GAP的发现一致。