[论文解读] SoK: Privacy-Preserving Data Synthesis

Yuzheng Hu, Fan Wu+8 more|arXiv (Cornell University)|Jul 5, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种统一的隐私保护数据合成（PPDS）主配方，整合了统计方法与基于深度学习的方法，通过建模选择和生成原理对方法进行系统性分类。在图像合成任务上对基于深度学习的方法进行了基准测试，识别出DP-MERF是一种稳健且通用的解决方案，同时指出了评估标准方面的关键空白以及在隐私度量和威胁建模方面的未来研究方向。

ABSTRACT

As the prevalence of data analysis grows, safeguarding data privacy has become a paramount concern. Consequently, there has been an upsurge in the development of mechanisms aimed at privacy-preserving data analyses. However, these approaches are task-specific; designing algorithms for new tasks is a cumbersome process. As an alternative, one can create synthetic data that is (ideally) devoid of private information. This paper focuses on privacy-preserving data synthesis (PPDS) by providing a comprehensive overview, analysis, and discussion of the field. Specifically, we put forth a master recipe that unifies two prominent strands of research in PPDS: statistical methods and deep learning (DL)-based methods. Under the master recipe, we further dissect the statistical methods into choices of modeling and representation, and investigate the DL-based methods by different generative modeling principles. To consolidate our findings, we provide comprehensive reference tables, distill key takeaways, and identify open problems in the existing literature. In doing so, we aim to answer the following questions: What are the design principles behind different PPDS methods? How can we categorize these methods, and what are the advantages and disadvantages associated with each category? Can we provide guidelines for method selection in different real-world scenarios? We proceed to benchmark several prominent DL-based methods on the task of private image synthesis and conclude that DP-MERF is an all-purpose approach. Finally, upon systematizing the work over the past decade, we identify future directions and call for actions from researchers.

研究动机与目标

• 为解决特定任务的隐私保护数据分析挑战，提出一种可泛化的合成数据生成方法。
• 在单一主配方框架下统一两种主流PPDS研究方向——统计方法与基于深度学习的方法。
• 识别并系统化不同PPDS类别中的关键设计原则、优势与局限性，以支持实际方法选择。
• 在图像合成任务上对领先的基于深度学习的PPDS方法进行基准测试，并评估其隐私-效用表现。
• 突出关键开放问题，包括评估指标不一致、缺乏以任务为中心的效用度量，以及对标准化隐私审计与威胁建模的迫切需求。

提出的方法

• 提出一种主配方，通过将方法分解为建模选择（如分布假设）和生成原理（如归一化流、生成对抗网络、扩散模型）来统一统计方法与基于深度学习的PPDS方法。
• 根据数据表示（如参数化与非参数化）和建模技术（如贝叶斯网络、拷贝函数、隐马尔可夫模型）对统计PPDS方法进行分类。
• 根据生成建模原理对基于深度学习的PPDS方法进行分类，包括生成对抗网络（GANs）、变分自编码器（VAEs）、基于流的模型和扩散模型，并通过差分隐私（DP）集成隐私机制。
• 利用DP-SGD、DP-MERF和DP-Sinkhorn等技术将差分隐私集成到生成模型中，确保正式的隐私保障。
• 采用标准化评估流程，使用FID和Inception Score（IS）评估图像合成性能，并通过成员推断攻击进行隐私审计。
• 推荐一种基准测试框架，采用一致的效用度量和隐私测试，以减少评估偏差并提高可复现性。

实验结果

研究问题

• RQ1 不同隐私保护数据合成方法的核心设计原则是什么？如何系统性地对其进行分类？
• RQ2 在隐私保障与效用方面，统计方法与基于深度学习的PPDS方法相比如何，特别是在高维非结构化数据上？
• RQ3 哪种PPDS方法在各种现实场景中，特别是在图像合成中，能提供最稳健的隐私与效用平衡？
• RQ4 当前PPDS方法中存在哪些关键局限性与潜在问题，如公平性下降或特征重要性失真？
• RQ5 如何建立一个标准化、全面的基准，以确保一致的效用度量和隐私测试？

主要发现

• 在图像合成中，DP-MERF在隐私与效用的整体平衡上表现最佳，优于DP-GAN、DP-CGAN、GS-WGAN和DP-Sinkhorn在FID与IS指标上的表现。
• 在CIFAR-10数据集上，ε = 1.0时，DP-MERF的FID为105.8，IS为5.1，表明在中等隐私预算下仍具有强大性能。
• 研究表明，对生成模型简单应用DP通常会导致显著的效用损失，凸显了对架构与训练设计进行细致考量的必要性。
• 现有PPDS方法表现出公平性下降，尤其对代表性不足群体影响更大，表明存在一个亟需进一步研究的关键潜在问题。
• 文献中在效用度量与隐私概念方面缺乏共识，大多数研究使用临时拼凑的评估套件，可能使结果偏向自身方法。
• 作者指出，迫切需要一个标准化基准，包含一致且全面的效用度量与隐私测试，以实现PPDS方法之间公平且可复现的评估。