[论文解读] SYNC: A Copula based Framework for Generating Synthetic Data from Aggregated Sources

Zheng Li, Yue Zhao+1 more|arXiv (Cornell University)|Sep 20, 2020

Gaussian Processes and Bayesian Inference参考文献 25被引用 6

一句话总结

SynC 是一种基于配对的新型框架，通过利用高斯配对来建模依赖关系和边缘分布，从低分辨率、聚合的数据源生成高分辨率的合成个体级数据。该框架支持隐私保护的数据合成，展现出在数据增强方面的优异性能（分类任务中准确率最高提升11%），并通过可扩展、模块化的设计确保与原始聚合数据的一致性。

ABSTRACT

A synthetic dataset is a data object that is generated programmatically, and it may be valuable to creating a single dataset from multiple sources when direct collection is difficult or costly. Although it is a fundamental step for many data science tasks, an efficient and standard framework is absent. In this paper, we study a specific synthetic data generation task called downscaling, a procedure to infer high-resolution, harder-to-collect information (e.g., individual level records) from many low-resolution, easy-to-collect sources, and propose a multi-stage framework called SYNC (Synthetic Data Generation via Gaussian Copula). For given low-resolution datasets, the central idea of SYNC is to fit Gaussian copula models to each of the low-resolution datasets in order to correctly capture dependencies and marginal distributions, and then sample from the fitted models to obtain the desired high-resolution subsets. Predictive models are then used to merge sampled subsets into one, and finally, sampled datasets are scaled according to low-resolution marginal constraints. We make four key contributions in this work: 1) propose a novel framework for generating individual level data from aggregated data sources by combining state-of-the-art machine learning and statistical techniques, 2) perform simulation studies to validate SYNC's performance as a synthetic data generation algorithm, 3) demonstrate its value as a feature engineering tool, as well as an alternative to data collection in situations where gathering is difficult through two real-world datasets, 4) release an easy-to-use framework implementation for reproducibility and scalability at the production level that easily incorporates new data.

研究动机与目标

• 解决在直接数据收集成本高昂或受隐私法律限制时，生成高分辨率、个体级合成数据的挑战。
• 开发一种可扩展、模块化的框架，确保合成数据与原始聚合数据源之间的统计一致性。
• 在数据有限的情境下，证明合成数据作为特征工程工具的实用性。
• 通过开源实现和对新数据源的可扩展性，确保结果的可重现性与生产环境可用性。

提出的方法

• 使用高斯配对建模聚合数据中的依赖关系，以捕捉多变量依赖关系和边缘分布。
• 根据相关性结构将特征划分为若干批次，以降低维度并提升计算效率。
• 从拟合的配对模型中抽样，为每个数据源生成高分辨率的合成子集。
• 使用预测模型将抽样得到的子集合并为统一的合成数据集。
• 将最终的合成数据集缩放，以匹配原始的低分辨率边际约束（例如，区域总计）。
• 应用异常值检测和分布拟合（Beta/对数正态分布）以提升合成变量的真实性。

实验结果

研究问题

• RQ1 基于配对的框架能否在保持统计一致性的前提下，有效从聚合的、匿名化的数据源重建个体级数据？
• RQ2 SynC 在多大程度上能够再现原始数据的边际分布和相关性结构？
• RQ3 在数据稀缺的场景下，SynC 生成的合成数据在下游机器学习任务中的性能提升程度如何？
• RQ4 SynC 是否可作为隐私受限环境中直接数据收集的可扩展、生产就绪的替代方案？

主要发现

• SynC 生成的合成数据能精确模拟真实人群的边际分布和相关性，确保公平性与真实性。
• 在真实世界的汽车工业应用场景中，合成数据增强使分类准确率最高提升11%（SVM），在五种分类器上平均提升6.2%。
• 通过将合成样本重新聚合以匹配原始低分辨率总计，验证了框架与原始聚合约束的一致性。
• 与传统合成重建和组合优化方法相比，SynC 在可扩展性、模块化和与机器学习流水线的集成方面表现更优。
• 开源实现支持可重现性，并可在无需完整重训的前提下，逐步集成新数据源。