[论文解读] Synthetic Data: Opening the data floodgates to enable faster, more directed development of machine learning methods

J.B. Jordon, A. Wilson+1 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data被引用 12

一句话总结

本文提出以合成数据生成作为保护隐私的解决方案，以加速机器学习研究，尤其适用于医疗数据等敏感数据集。该研究倡导使用差分隐私生成模型（如DP-GAN和PATE-GAN），以生成高保真度、具备隐私保障的合成数据，从而促进更广泛的合作并加快方法开发速度。

ABSTRACT

Many ground-breaking advancements in machine learning can be attributed to the availability of a large volume of rich data. Unfortunately, many large-scale datasets are highly sensitive, such as healthcare data, and are not widely available to the machine learning community. Generating synthetic data with privacy guarantees provides one such solution, allowing meaningful research to be carried out "at scale" - by allowing the entirety of the machine learning community to potentially accelerate progress within a given field. In this article, we provide a high-level view of synthetic data: what it means, how we might evaluate it and how we might use it.

研究动机与目标

• 解决因受限访问大规模敏感数据集（如电子健康记录）而导致的机器学习研发瓶颈。
• 克服传统去标识化和k-匿名化方法的局限性，这些方法无法确保强大的隐私保护，且会降低数据可用性。
• 通过生成既保护隐私又保持数据可用性的合成数据，实现数据持有方与机器学习社区之间的广泛、安全协作。
• 开发并评估兼具隐私保护（例如通过差分隐私）和下游机器学习任务实用性的合成数据生成方法。
• 深化对隐私定义的理解，并使其与社会和法律预期相一致，特别是在GDPR等法规背景下。

提出的方法

• 使用结合差分隐私机制（如DP-GAN、PATE-GAN）的生成对抗网络（GAN）从真实数据集中生成合成数据。
• 将k-匿名化作为基线隐私机制，但指出其在可用性和可扩展性方面存在局限，原因在于数据分箱和信息丢失。
• 通过基于树状结构的图模型进行条件概率建模来构建合成数据，其中变量按相关性排序，并基于父节点进行条件化。
• 通过将条件分布分组以确保每组至少包含50条记录，来强制实现50-匿名化，但该启发式方法缺乏正式的可用性保障。
• 在部分方法中利用汇总统计量和领域特定知识，但指出其在处理高维或混合类型数据时存在局限。
• 集成噪声注入和模型蒸馏等隐私保护技术，以确保理论上的隐私保障，特别是在差分隐私框架下。

实验结果

研究问题

• RQ1 如何生成合成数据，使其在保留真实数据统计特性的同时，确保强大的隐私保障？
• RQ2 现有隐私定义（如差分隐私、k-匿名化、成员身份隐私）在多大程度上与社会和法律对数据共享的隐私期望相一致？
• RQ3 在使用基于GAN的模型时，合成数据生成中的数据可用性与隐私保护之间存在何种权衡？
• RQ4 合成数据能否有效支持在获得真实数据访问权限之前对机器学习模型进行开发和基准测试？
• RQ5 隐私机制应如何针对合成数据生成进行专门设计或重构，而非作为通用工具直接应用？

主要发现

• 差分隐私GAN（DP-GAN和PATE-GAN）在生成混合类型数据（连续型、离散型、二值型）时，既提供正式的隐私保障，又优于非私有或启发式方法。
• 传统去标识化和k-匿名化方法无法确保强大的隐私保护，因为通过外部数据集的链接攻击仍可能导致重新识别。
• 使用50-匿名化约束的条件概率树生成合成数据可确保隐私，但缺乏正式的可用性保障，依赖于启发式设计选择。
• 现有合成数据评估方法有限，通常依赖于下游任务性能，凸显了对标准化、任务无关指标的迫切需求。
• 使用合成数据可使研究人员预先筛选合作者并加速模型开发，具有显著缩短真实世界机器学习应用部署时间的潜力。
• 仍迫切需要将技术性隐私定义与社会和法律对隐私的理解相统一，特别是在GDPR等法规背景下，以确保信任与采纳。