[论文解读] On the Convergence and Calibration of Deep Learning with Differential Privacy

Zhiqi Bu, Hua Wang+2 more|PubMed|Jun 15, 2021

Privacy-Preserving Technologies in Data参考文献 50被引用 8

一句话总结

本文通过神经正切核（NTK）对差分隐私（DP）深度学习进行了连续时间收敛性分析，揭示了梯度裁剪而非噪声添加影响收敛性与校准性。研究发现，较大的裁剪范数可使模型在保持相似准确率与隐私性的同时，显著提升校准性，从而解决了DP训练中的关键权衡问题。

ABSTRACT

Differentially private (DP) training preserves the data privacy usually at the cost of slower convergence (and thus lower accuracy), as well as more severe mis-calibration than its non-private counterpart. To analyze the convergence of DP training, we formulate a continuous time analysis through the lens of neural tangent kernel (NTK), which characterizes the per-sample gradient clipping and the noise addition in DP training, for arbitrary network architectures and loss functions. Interestingly, we show that the noise addition only affects the privacy risk but not the convergence or calibration, whereas the per-sample gradient clipping (under both flat and layerwise clipping styles) only affects the convergence and calibration. Furthermore, we observe that while DP models trained with small clipping norm usually achieve the best accurate, but are poorly calibrated and thus unreliable. In sharp contrast, DP models trained with large clipping norm enjoy the same privacy guarantee and similar accuracy, but are significantly more <i>calibrated</i>. Our code can be found at https://github.com/woodyx218/opacus_global_clipping.

研究动机与目标

• 理解差分隐私深度学习的理论收敛动态，超越经验观察。
• 分离梯度裁剪与噪声添加在DP训练中对收敛性、准确率与校准性的影响。
• 通过分析裁剪范数选择的影响，解决隐私-准确率-校准权衡问题。
• 通过实证证明，较大的裁剪范数可产生校准性更优的模型，且准确率相当。

提出的方法

• 利用神经正切核（NTK）建立DP训练的连续时间分析，以建模梯度裁剪与噪声添加。
• 推导出收敛性受样本级梯度裁剪影响的理论条件，将其与噪声添加的影响区分开来。
• 引入一种全局裁剪函数，可在训练过程中自适应调整裁剪范数，实现大-R阶段以提升收敛性。
• 采用可靠性图与校准度量指标，评估不同裁剪范数下模型置信度与实际准确率的关系。
• 在图像（CIFAR-10）、文本（SNLI, BERT）与回归（California Housing, Wine Quality）数据集上，使用DP-AdamW与DP-GD进行实验。
• 采用混合训练（mix-up）方法，交替使用小与大裁剪范数，研究其对损失与校准性的动态影响。

实验结果

研究问题

• RQ1 在差分隐私深度学习中，样本级梯度裁剪如何影响收敛性与校准性？
• RQ2 噪声添加与梯度裁剪在决定模型收敛性与隐私风险方面各自发挥什么作用？
• RQ3 使用较大的裁剪范数是否能在保持准确率与隐私保证的前提下提升校准性？
• RQ4 动态裁剪策略（如从较小R切换到较大R）能否增强训练动态与模型可靠性？
• RQ5 为何在高准确率下，小裁剪范数仍会导致模型过度自信、严重校准不足？

主要发现

• 与小裁剪范数（R=0.1）相比，大裁剪范数（R=20）显著提升了模型校准性，即使准确率相近。
• 使用小裁剪范数训练的模型表现出过度自信——预测置信度远高于实际准确率，表明存在严重校准偏差。
• 在SNLI BERT实验中，若在训练最后5%阶段采用大R的混合训练，测试NLL从1.79降至1.08，且校准性提升，同时未降低准确率。
• 在Wine Quality与California Housing回归任务中，大裁剪范数导致单调收敛，而小R则引发非单调损失行为，与理论预测一致。
• 噪声添加仅影响隐私风险，不影响收敛性或校准性；而梯度裁剪则直接影响两者。
• 所有实验均保持相同的隐私预算（ε=1.25, δ=1/550152），证实大R不会损害隐私。