[论文解读] Really Useful Synthetic Data -- A Framework to Evaluate the Quality of Differentially Private Synthetic Data

Christian Arnold, Marcel Neunhoeffer|arXiv (Cornell University)|Apr 16, 2020

Privacy-Preserving Technologies in Data参考文献 44被引用 18

一句话总结

本文从应用研究者的视角出发，提出了一套全面的基准评估框架，用于衡量差分隐私合成数据的质量，涵盖分布相似性与任务特定性能两方面。基于基线DP-GAN，该研究在九项指标上建立了定量评分，展示了在现实世界数据挑战（如离散变量、结构零值、缺失数据）下隐私-质量权衡的基准性能水平，为未来改进提供参考。

ABSTRACT

Recent advances in generating synthetic data that allow to add principled ways of protecting privacy -- such as Differential Privacy -- are a crucial step in sharing statistical information in a privacy preserving way. But while the focus has been on privacy guarantees, the resulting private synthetic data is only useful if it still carries statistical information from the original data. To further optimise the inherent trade-off between data privacy and data quality, it is necessary to think closely about the latter. What is it that data analysts want? Acknowledging that data quality is a subjective concept, we develop a framework to evaluate the quality of differentially private synthetic data from an applied researcher's perspective. Data quality can be measured along two dimensions. First, quality of synthetic data can be evaluated against training data or against an underlying population. Second, the quality of synthetic data depends on general similarity of distributions or specific tasks such as inference or prediction. It is clear that accommodating all goals at once is a formidable challenge. We invite the academic community to jointly advance the privacy-quality frontier.

研究动机与目标

• 解决在隐私保证之外评估差分隐私合成数据效用性的关键空白。
• 从应用研究者的视角定义数据质量，重点关注分布相似性与任务特定性能。
• 建立一个包含现实数据挑战（如离散变量、结构零值、缺失数据、嵌套结构）的标准基准，用于评估合成数据质量。
• 提供一个统一且可扩展的评估框架，支持不同合成数据生成方法之间的比较。
• 通过在不同隐私预算和训练数据规模下实现系统化、可复现的评估，推动隐私-质量边界的进步。

提出的方法

• 设计包含九种数据生成过程的基准套件，反映现实世界数据挑战：离散与连续属性、结构零值、缺失数据及嵌套数据结构。
• 实现一个具有三层全连接隐藏层（256、128、128个神经元）的DP-GAN，使用Leaky ReLU激活函数，并在生成器中应用50%的dropout。
• 使用Gumbel-Softmax实现对离散属性的可微采样，采用DP-Adam优化器并利用时刻会计法进行隐私会计计算（ε=1，δ=5×10⁻⁵）。
• 在10个独立的训练集（每个含10,000个样本）上训练10个DP-GAN模型，每个模型生成10个合成数据集，共生成1,000个合成数据集。
• 从两个维度评估质量：(1) 与训练数据或总体的相似性（通过Wasserstein距离、pMSE、协方差比、系数偏差衡量）；(2) 泛化能力（通过覆盖率、预测RMSE衡量）。
• 将评分相对于基线性能进行归一化处理，将最优得分设为0，最差得分设为实际得分的10%以上，以增强可解释性。

实验结果

研究问题

• RQ1 如何从应用研究者的视角系统性地衡量差分隐私合成数据的质量？
• RQ2 基线DP-GAN在不同隐私预算和数据挑战下，能在多大程度上保持统计特性（如分布、协方差、系数估计）？
• RQ3 差分隐私合成数据在多大程度上能泛化到未见数据或总体水平的推断任务？
• RQ4 在现实数据挑战下评估时，当前DP合成数据方法的相对优势与劣势是什么？
• RQ5 统一的基准框架能否实现对不同差分隐私数据合成器在多样化数据类型和隐私水平下的公平、可复现且可比较的评估？

主要发现

• 基线DP-GAN在训练阶段的Wasserstein距离比为10.09，pMSE比为3,522.96，表明与原始数据存在显著的分布偏差。
• 泛化性能方面，Wasserstein距离比为10.22，pMSE比为3,505.01，表明对潜在总体的泛化能力有限。
• 泛化覆盖率达到89%，意味着11%的真实数据范围未被合成数据覆盖。
• 泛化过程中的系数偏差高达119.93%，表明合成数据导致回归系数估计严重不准确。
• 在下游任务中的预测RMSE为9.39，表明使用合成数据进行预测建模时存在显著误差。
• 所提出的基准框架提供了一个标准化、可解释且可扩展的评估流程，为未来差分隐私合成数据生成方法的开发设定了基准。