[论文解读] Privacy for All: Demystify Vulnerability Disparity of Differential Privacy against Membership Inference Attack

Bo Zhang, Ruotong Yu+4 more|arXiv (Cornell University)|Jan 24, 2020

Privacy-Preserving Technologies in Data参考文献 59被引用 12

一句话总结

本文引入了漏洞差异（VD）以量化不同人口统计群体在成员推断攻击（MIA）中的不公平性，并表明由于数据不平衡，MIA对某些群体的针对性更强。研究显示，差分隐私（DP）虽能减少但无法完全消除VD，并提出FairPick——一种数据重加权方法——以在有无DP的情况下有效缓解VD，从而提升隐私保护机器学习中的公平性。

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a potential threat to privacy. A growing body of prior work has demonstrated that membership inference attack (MIA) can disclose specific private information in the training data to an attacker. Meanwhile, the algorithmic fairness of machine learning has increasingly caught attention from both academia and industry. Algorithmic fairness ensures that the machine learning models do not discriminate a particular demographic group of individuals (e.g., black and female people). Given that MIA is indeed a learning model, it raises a serious concern if MIA ``fairly'' treats all groups of individuals equally. In other words, whether a particular group is more vulnerable against MIA than the other groups. This paper examines the algorithmic fairness issue in the context of MIA and its defenses. First, for fairness evaluation, it formalizes the notation of vulnerability disparity (VD) to quantify the difference of MIA treatment on different demographic groups. Second, it evaluates VD on four real-world datasets, and shows that VD indeed exists in these datasets. Third, it examines the impacts of differential privacy, as a defense mechanism of MIA, on VD. The results show that although DP brings significant change on VD, it cannot eliminate VD completely. Therefore, fourth, it designs a new mitigation algorithm named FAIRPICK to reduce VD. An extensive set of experimental results demonstrate that FAIRPICK can effectively reduce VD for both with and without the DP deployment.

研究动机与目标

• 探究成员推断攻击（MIA）是否对不同人口统计群体造成不公平对待，导致某些群体遭受不成比例的脆弱性。
• 分析差分隐私（DP）作为防御机制对MIA在不同人口统计群体间公平性的影响。
• 设计一种新型缓解方法，以减少MIA中的漏洞差异（VD），无论在DP部署之前还是之后。
• 通过实证评估，在具有不平衡人口统计分布的真实世界数据集中量化VD。

提出的方法

• 基于平等机会公平性框架形式化定义漏洞差异（VD），通过测量不同人口统计群体在MIA成功概率上的差异来量化其影响。
• 在四个真实世界数据集（如COMPAS、随机森林等）上实证评估VD，以量化在种族和性别群体间MIA成功概率的差异。
• 分析差分隐私（DP）对VD的影响，表明由于非均匀数据分布效应，DP虽能减少但无法完全消除差异。
• 提出FairPick，一种后处理数据重加权技术，通过调整训练数据分布以最小化VD，从而提升MIA结果的公平性。
• 在DP部署之前和之后均应用FairPick，证明其在多种设置下有效降低VD。
• 通过多种指标的实证评估，验证FairPick在保持模型效用的同时降低VD的能力。

实验结果

研究问题

• RQ1 MIA是否对不同人口统计群体造成不公平对待，导致某些群体比其他群体更易受攻击？
• RQ2 MIA中漏洞差异的根本原因是什么，特别是由数据不平衡导致的？
• RQ3 作为防御机制，差分隐私如何影响MIA在不同人口统计群体间的公平性？
• RQ4 能否通过一种新缓解方法，在应用差分隐私前后均减少漏洞差异？

主要发现

• 在真实世界数据集中，MIA中存在漏洞差异（VD），由于数据不平衡，某些群体（如非裔美国人和女性）的MIA成功率显著更高。
• 差分隐私减少了VD，但并未完全消除，因为DP的隐私保证未考虑人口统计分布的不平衡。
• FairPick通过重加权训练数据以平衡人口统计代表性，有效降低了VD，实现了MIA成功率差异的降低。
• 通过FairPick降低VD的效果在DP启用和非DP设置中均保持一致，证明了其鲁棒性。
• 实证结果表明，FairPick在显著提升种族和性别群体在MIA结果中的公平性的同时，保持了模型效用。
• 研究发现，即使在DP保护下，个体公平性（即相似个体应被相似对待）仍可能被违反，提示需要进一步开展个体公平性分析。