[论文解读] Privacy-preserving Learning via Deep Net Pruning

Yangsibo Huang, Yushan Su+4 more|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 69被引用 8

一句话总结

本文建立了基于大小的神经网络剪枝与向隐藏层激活添加差分隐私噪声之间的理论等价性，证明剪枝可在不显著损失准确率的情况下保护隐私。研究证明，对足够宽的网络层进行剪枝具有差分隐私性，并通过实验表明，在相同准确率约束下，剪枝比传统噪声添加保留了更多的隐私。

ABSTRACT

This paper attempts to answer the question whether neural network pruning can be used as a tool to achieve differential privacy without losing much data utility. As a first step towards understanding the relationship between neural network pruning and differential privacy, this paper proves that pruning a given layer of the neural network is equivalent to adding a certain amount of differentially private noise to its hidden-layer activations. The paper also presents experimental results to show the practical implications of the theoretical finding and the key parameter values in a simple practical setting. These results show that neural network pruning can be a more effective alternative to adding differentially private noise for neural networks.

研究动机与目标

• 探究神经网络剪枝是否可作为添加差分隐私噪声的隐私保护替代方案。
• 在深度学习中建立剪枝与差分隐私之间的理论联系。
• 评估剪枝在分布式学习设置下是否能在减少隐私泄露的同时保持数据可用性。
• 比较剪枝与传统噪声添加在神经网络中的隐私-效用权衡。

提出的方法

• 理论分析表明，对神经网络层进行基于大小的剪枝，等价于向其隐藏层激活注入特定量的差分隐私噪声。
• 在网络宽度足够大的前提下，利用集中极限定理和敏感性分析，证明了该等价性。
• 该方法采用渐进剪枝策略，即在训练过程中根据大小阈值剪除权重。
• 使用相同的隐私预算和准确率目标，对差分隐私噪声注入机制与剪枝进行形式化比较。
• 在MNIST和CIFAR-10数据集上的实验验证了理论发现，通过反演攻击测量隐私泄露。
• 该框架通过反转图像与原始输入之间的相似性评估隐私，相似性越低表示隐私保护越好。

实验结果

研究问题

• RQ1 基于大小的神经网络层剪枝是否等价于向其激活添加差分隐私噪声？
• RQ2 当网络宽度足够大时，剪枝能否实现差分隐私保证？
• RQ3 剪枝在深度神经网络中的隐私-效用权衡与传统差分隐私噪声添加相比如何？
• RQ4 增加剪枝稀疏度在多大程度上降低对隐藏层表示的反演攻击成功率？
• RQ5 在相同准确率约束下，剪枝是否比噪声添加保留了更多隐私？

主要发现

• 对宽神经网络层进行基于大小的剪枝可被证明具有差分隐私性，建立了剪枝与噪声注入之间的正式等价性。
• 当网络宽度达到数百量级时，在实际隐私预算下，剪枝与差分隐私之间的理论等价性依然成立。
• 在MNIST和CIFAR-10上，剪枝在保持相同模型准确率的同时，显著优于添加差分隐私噪声的隐私保护效果。
• 随着剪枝稀疏度增加（例如达到90%），对隐藏层表示的反演攻击无法重建出有意义的输入，生成的图像接近全黑。
• 当模型准确率降至0.2以下时，剪枝与噪声添加的隐私泄露程度相似，因为信号已被噪声主导。
• 实验结果证实，剪枝的稀疏度越高，反转图像与原始图像之间的相似性越低，表明隐私保护能力越强。