[论文解读] Quantifying Information Leakage from Gradients.

Fan Mo, Anastasia Borovykh+3 more|arXiv (Cornell University)|May 28, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用 6

一句话总结

本文提出了一套新颖的信息论度量方法，用于量化协作学习中深度神经网络梯度所泄露的原始信息与潜在信息。通过梯度敏感性和子空间距离，研究发现：第一层泄露的原始数据最多，而分类器层泄露的潜在属性最多，并且证明了训练超参数（如梯度聚合）可减少信息泄露。

ABSTRACT

Sharing deep neural networks' gradients instead of training data could facilitate data privacy in collaborative learning. In practice however, gradients can disclose both private latent attributes and original data. Mathematical metrics are needed to quantify both original and latent information leakages from gradients computed over the training data. In this work, we first use an adaptation of the empirical $\mathcal{V}$-information to present an information-theoretic justification for the attack success rates in a layer-wise manner. We then move towards a deeper understanding of gradient leakages and propose more general and efficient metrics, using sensitivity and subspace distance to quantify the gradient changes w.r.t. original and latent information, respectively. Our empirical results, on six datasets and four models, reveal that gradients of the first layers contain the highest amount of original information, while the classifier/fully-connected layers placed after the feature extractor contain the highest latent information. Further, we show how training hyperparameters such as gradient aggregation can decrease information leakages. Our characterization provides a new understanding on gradient-based information leakages using the gradients' sensitivity w.r.t. changes in private information, and portends possible defenses such as layer-based protection or strong aggregation.

研究动机与目标

• 解决协作学习中缺乏用于量化模型梯度信息泄露的数学度量的问题。
• 区分梯度更新中原始训练数据与私有潜在属性的泄露。
• 开发高效、分层的度量方法，以捕捉对私有信息变化的敏感性。
• 评估训练超参数（如梯度聚合）对信息泄露的影响。
• 通过基于泄露特征的分层保护策略，实现有针对性的防御。

提出的方法

• 将经验 V-信息适应于分层方式，以验证攻击成功率。
• 提出梯度敏感性作为度量，量化输入变化下原始数据的泄露程度。
• 引入梯度子空间之间的子空间距离，以度量潜在属性的泄露。
• 在六个数据集和四个模型上应用这些度量，分析分层泄露模式。
• 评估梯度聚合及其他超参数对减少泄露的影响。
• 利用信息论原理验证敏感性和子空间距离度量的有效性。

实验结果

研究问题

• RQ1 深度神经网络的哪些层通过梯度泄露了最多的原始训练数据？
• RQ2 哪些层通过梯度更新泄露了最多的私有潜在属性？
• RQ3 输入数据的变化如何影响梯度敏感性？这揭示了关于原始信息泄露的哪些信息？
• RQ4 梯度聚合在多大程度上能减少各层的信息泄露？
• RQ5 梯度子空间之间的子空间距离能否有效度量潜在属性的泄露？

主要发现

• 第一层深度神经网络在输入变化的梯度敏感性度量下，显示出最高的原始信息泄露量。
• 在特征提取器之后的分类器层和全连接层，其梯度子空间之间的子空间距离最高，表明其泄露了最多的潜在信息。
• 训练过程中采用梯度聚合显著减少了所有评估模型和数据集中的原始信息与潜在信息泄露。
• 所提出的敏感性和子空间距离度量能有效捕捉分层泄露模式，支持细粒度分析。
• 结果表明，可优先在高泄露层中实施基于分层的保护策略，如差分隐私或梯度掩码。
• 在六个数据集和四个模型上的实证评估验证了泄露模式的一致性，证实了所提度量的稳健性。