[论文解读] Spending Privacy Budget Fairly and Wisely

Lucas Rosenblatt, Joshua E. Allen+1 more|arXiv (Cornell University)|Apr 27, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 SuperQUAIL，一种用于差分隐私合成数据生成的集成方法，根据特征重要性智慧分配隐私预算，并在子群体间公平分配，以提升预测准确性并减少差异。该方法在中等到高隐私预算下，整体及各群体的预测性能均优于最先进方法，同时在不同人口群体中保持了均衡的假阴性率。

ABSTRACT

Differentially private (DP) synthetic data generation is a practical method for improving access to data as a means to encourage productive partnerships. One issue inherent to DP is that the "privacy budget" is generally "spent" evenly across features in the data set. This leads to good statistical parity with the real data, but can undervalue the conditional probabilities and marginals that are critical for predictive quality of synthetic data. Further, loss of predictive quality may be non-uniform across the data set, with subsets that correspond to minority groups potentially suffering a higher loss. In this paper, we develop ensemble methods that distribute the privacy budget "wisely" to maximize predictive accuracy of models trained on DP data, and "fairly" to bound potential disparities in accuracy across groups and reduce inequality. Our methods are based on the insights that feature importance can inform how privacy budget is allocated, and, further, that per-group feature importance and fairness-related performance objectives can be incorporated in the allocation. These insights make our methods tunable to social contexts, allowing data owners to produce balanced synthetic data for predictive analysis.

研究动机与目标

• 为解决差分隐私合成数据生成中统一隐私预算分配的局限性，该局限性会损害预测质量，尤其是对少数群体的影响。
• 开发一种基于特征重要性的隐私预算分配方法，以增强合成数据的预测保真度。
• 将公平性目标整合到隐私预算分配过程中，最小化不同子群体间模型性能的差异。
• 使数据所有者能够生成平衡、可解释且可调节的合成数据，以反映社会与伦理优先事项。
• 证明隐私预算分配不仅可优化实用性，还可优化预测建模中的公平性。

提出的方法

• 该方法采用集成框架，其中差分隐私模型（DPSAGE）估计特征重要性，以指导隐私预算分配。
• 隐私预算在基于边际的合成器（如 MST）和条件模型（如 DPLogisticRegression）之间分配，分配比例通过 epsilon 分割的网格搜索进行调优。
• 通过公平性感知目标函数优化各子群体间的平衡性能指标（如 FNR、FPR），实现公平性约束。
• 框架包含两种变体：FSQ-Bal 用于平衡准确率，FSQ-FNR 用于最小化高影响场景中的假阴性率。
• 该方法根据特征重要性和公平性约束，动态在各组件间分配 epsilon，实现可调节的权衡。
• 通过在真实数据和合成数据上的端到端分类任务评估性能，指标包括整体和各人口群体的准确率、F1 分数、FNR 和 FPR。

实验结果

研究问题

• RQ1 基于特征重要性的隐私预算分配能否提升在差分隐私合成数据上训练的模型的预测准确性？
• RQ2 能否有效将公平性约束整合到隐私预算分配过程中，以减少不同人口子群体间的性能差异？
• RQ3 在不同隐私预算下，所提方法在预测效用和公平性方面与最先进 DP 合成器相比表现如何？
• RQ4 该方法在提升预测和公平性指标的同时，是否仍能保持较高的统计保真度？
• RQ5 该框架是否可调节以优先考虑特定公平性目标，例如最小化代表性不足群体的假阴性率？

主要发现

• 在 ε = e³ 时，FSQ-Bal 在 ACSEmployment 数据集上实现了 72.0% 的整体准确率，优于 MST（65.2%），并接近真实数据（74.3%）。
• FSQ-Bal 将整体假阴性率（FNR）降低至 9%，黑人群体为 9%，优于真实数据（整体 12%，黑人 16%）和 MST（整体 10%，黑人 21%）。
• 该方法在不同种族群体间实现了均衡的 FNR 和 FPR，证明了在合成数据生成中有效实施公平性约束。
• 在低隐私预算下（ε = e⁰），该方法的方差高于 MST，但在 ε = e² 和 ε = e³ 时性能超越 MST，表明在中等到高隐私水平下具有有效性。
• 通过 DPSAGE 估计的特征重要性与真实数据高度一致（在 ε = 0.2 时 nDCG ≈ 0.9），验证了其在预算分配中的有效性。
• 尽管 MST 具有更优的整体统计保真度，该框架在预测指标（准确率、F1）上仍优于 MST，同时保持了公平性。