[论文解读] Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy

Depeng Xu, Wei Du+1 more|arXiv (Cornell University)|Mar 8, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 8

一句话总结

本文提出DPSGD-F，一种改进的差分隐私随机梯度下降方法，通过按组自适应调整裁剪边界，消除对模型效用的差异性影响。通过考虑组别特定的裁剪偏差和样本量，DPSGD-F确保受保护群体与多数群体之间的准确率损失相等，显著降低了私有学习中的效用差异，同时保持差分隐私保证。

ABSTRACT

When we enforce differential privacy in machine learning, the utility-privacy trade-off is different w.r.t. each group. Gradient clipping and random noise addition disproportionately affect underrepresented and complex classes and subgroups, which results in inequality in utility loss. In this work, we analyze the inequality in utility loss by differential privacy and propose a modified differentially private stochastic gradient descent (DPSGD), called DPSGD-F, to remove the potential disparate impact of differential privacy on the protected group. DPSGD-F adjusts the contribution of samples in a group depending on the group clipping bias such that differential privacy has no disparate impact on group utility. Our experimental evaluation shows how group sample size and group clipping bias affect the impact of differential privacy in DPSGD, and how adaptive clipping for each group helps to mitigate the disparate impact caused by differential privacy in DPSGD-F.

研究动机与目标

• 研究差分隐私如何在不同人口统计群体中不均衡地影响模型准确率，特别是对代表性不足的子群体的影响。
• 识别出组别样本量和组别裁剪偏差是导致差分隐私SGD中效用损失不均等的关键因素。
• 通过提出一种改进的DPSGD算法，解决效用损失不公的问题，确保各群体间具有相等的隐私-效用权衡。
• 设计一种方法，在保持差分隐私的同时，消除对受保护群体模型准确率的差异性影响。

提出的方法

• 提出DPSGD-F，一种改进的差分隐私SGD方法，根据各组的裁剪偏差和样本量自适应调整裁剪边界。
• 引入组别特定的裁剪阈值，以调整组内样本对梯度贡献的权重，从而在各组之间平衡效用损失。
• 通过理论分析表明，组别样本量不均等会导致裁剪偏差不均等，从而引发效用损失的不均衡。
• 采用自适应裁剪以最小化组间梯度范数和损失的差异，使私有模型性能在所有组别中与非私有基线保持一致。
• 在真实世界数据集（Adult和Dutch）上应用该方法，使用性别作为受保护属性，评估公平性与效用之间的权衡。
• 通过比较非私有SGD、标准DPSGD、朴素基线和DPSGD-F在男性和女性子群体中的准确率，验证该方法的有效性。

实验结果

研究问题

• RQ1 差分隐私在私有学习中如何对不同人口统计群体的模型准确率造成差异性影响？
• RQ2 哪些因素——如组别样本量和组别裁剪偏差——导致了差分隐私SGD中的效用损失不均等？
• RQ3 能否通过组别自适应裁剪消除差分隐私引起的效用损失差异？
• RQ4 DPSGD-F是否在保持差分隐私的前提下，实现了多数群体与受保护群体之间相近的准确率损失？
• RQ5 在公平性和效用方面，DPSGD-F相较于标准DPSGD和朴素基线在子群体中的表现如何？

主要发现

• 在样本不平衡的Adult数据集中，DPSGD-F将男性群体的准确率损失从标准DPSGD的-0.025降低至-0.029，使其更接近非私有SGD基线。
• 在样本不平衡的Dutch数据集中，DPSGD-F使男性群体的准确率损失为-0.032，而标准DPSGD为-0.124，显著降低了差异。
• 在所有四种设置（平衡与不平衡的Adult和Dutch数据集）中，DPSGD-F在男性和女性群体中均实现了相近的准确率损失，体现了效用损失的公平性。
• DPSGD-F中所有组别的平均梯度范数和损失均更接近非私有SGD，表明其收敛性更好且更具公平性。
• 图6和图7显示，DPSGD-F的收敛趋势最接近非私有SGD，证实其在保持群体效用方面的有效性。
• 该方法通过减少对代表性不足或高裁剪偏差群体的不均衡准确率退化，有效缓解了“越差越差”的效应。