[论文解读] Synthetic Data -- what, why and how?

J.B. Jordon, Łukasz Szpruch+6 more|arXiv (Cornell University)|May 6, 2022

Privacy-Preserving Technologies in Data被引用 103

一句话总结

一个面向高层的解读，概述合成数据及其定义、应用、隐私风险、评估方法，以及差分隐私在生成有用、可安全使用的合成数据集中的作用。

ABSTRACT

This explainer document aims to provide an overview of the current state of the rapidly expanding work on synthetic data technologies, with a particular focus on privacy. The article is intended for a non-technical audience, though some formal definitions have been given to provide clarity to specialists. This article is intended to enable the reader to quickly become familiar with the notion of synthetic data, as well as understand some of the subtle intricacies that come with it. We do believe that synthetic data is a very useful tool, and our hope is that this report highlights that, while drawing attention to nuances that can easily be overlooked in its deployment.

研究动机与目标

• 提供对合成数据是什么以及如何使用的简明、结构化概述。
• 突出隐私考虑因素、风险，以及将合成数据作为隐私解决方案的局限性。
• 概述用于私有和非私有合成数据的评估、审计和方法学方法。
• 讨论在隐私、去偏、数据增强以及与其他技术整合方面的应用。
• 概述行业观点和负责任地部署合成数据的实际考虑因素。

提出的方法

• 定义合成数据并对生成方法进行分类（GANs、VAEs、基于代理的模型、SDEs）。
• 讨论合成数据在隐私、偏见缓解和数据增强中的作用。
• 提出基于威胁模型的隐私概念及差分隐私的基础知识。
• 描述评估维度：实用性、保真度和隐私，以及审计方法。
• 调查现有的私有数据生成方法和部分合成数据，以及数据连接的考虑因素。
• 对行业洞察和实际部署考虑进行情境化论述。

实验结果

研究问题

• RQ1 合成数据能否替代真实数据用于分析和建模任务？
• RQ2 应如何生成和评估合成数据以在实用性和隐私之间取得平衡？
• RQ3 对合成数据而言，隐私保障（如差分隐私）的局限性是什么？
• RQ4 如何与其他技术（安全环境、联邦学习）有效地结合使用合成数据？
• RQ5 独立生成的合成数据集在链接与聚合方面面临哪些挑战？

主要发现

• 合成数据在隐私、公平性和数据增强方面有潜力，但并非自动具备隐私性或可替代真实数据。
• 在安全环境和联邦学习中使用时，合成数据可以加速开发并实现数据民主化，但需要谨慎的隐私保障。
• 异常值和低概率事件在合成数据中难以私下捕获，且若未正确设计，隐私评估可能具有挑战性或具有误导性。
• 仅在合成数据上训练并不能确保隐私；在合成数据上训练的模型仍可能记忆或泄露真实数据的信息。
• 经验性隐私测试存在局限，像差分隐私这样的形式化保证对信息泄露设定了界限，而不是单独对数据集的隐私进行验证。
• 除了隐私之外，还需要综合方法来解决公平性、鲁棒性以及基于合成数据的管道的验证。