[论文解读] Synthetic data, real errors: how (not) to publish and use synthetic data

Boris van Breugel, Zhaozhi Qian+1 more|arXiv (Cornell University)|May 16, 2023

Time Series Analysis and Forecasting被引用 16

一句话总结

论文表明将合成数据视为真实数据会导致下游模型性能差和不确定性，并引入 Deep Generative Ensemble (DGE) 通过在多个合成数据集上训练模型来更好地捕捉生成不确定性。

ABSTRACT

Generating synthetic data through generative models is gaining interest in the ML community and beyond, promising a future where datasets can be tailored to individual needs. Unfortunately, synthetic data is usually not perfect, resulting in potential errors in downstream tasks. In this work we explore how the generative process affects the downstream ML task. We show that the naive synthetic data approach -- using synthetic data as if it is real -- leads to downstream models and analyses that do not generalize well to real data. As a first step towards better ML in the synthetic data regime, we introduce Deep Generative Ensemble (DGE) -- a framework inspired by Deep Ensembles that aims to implicitly approximate the posterior distribution over the generative process model parameters. DGE improves downstream model training, evaluation, and uncertainty quantification, vastly outperforming the naive approach on average. The largest improvements are achieved for minority classes and low-density regions of the original data, for which the generative uncertainty is largest.

研究动机与目标

• 证明对合成数据的天真使用会导致泛化能力差和评估不可靠。
• 引入 Deep Generative Ensemble (DGE) 以近似生成模型参数的后验分布。
• 显示 DGE 提升下游模型训练、评估与不确定性量化。
• 突出 DGE 在低密度和少数群体区域表现尤为出色。
• 为合成数据发布者和使用者提供实际指南。

提出的方法

• 定义下游任务分布，结合生成过程通过 p(T|Dr) 及其组成部分。
• 通过训练 K 个独立的生成模型并使用参数的经验分布来生成多个合成数据集，提出 Deep Generative Ensemble (DGE)。
• 使用对 (θ, Ds, T) 的蒙特卡洛采样来估计下游统计量，如均值和方差。
• 在真实数据上对一系列数据集评估下游表现，比较天真单数据集训练与 DGE。
• 在合成数据情形下分析模型评估、模型选择和不确定性量化。
• 说明生成器对过拟合/欠拟合的鲁棒性及对欠代表群体的影响。

Figure 1 : Synthetic data is not perfect, which affects downstream ML tasks, e.g. training a prediction model. The naive synthetic data approach generates one synthetic dataset and treats it like it is real. We propose using an ensemble of generative models for capturing the generative uncertainty,

实验结果

研究问题

• RQ1 将合成数据视为真实数据如何影响下游模型性能和不确定性？
• RQ2 多数据集合成框架（DGE）是否能更好地逼近生成模型参数的真实后验？
• RQ3 相较于天真方法，发布多个合成数据集是否能改善下游评估、模型选择和不确定性量化？
• RQ4 生成不确定性如何影响低密度或少数群体区域的表现？
• RQ5 发布者和用户在发布及使用合成数据时应遵循哪些实际指南？

主要发现

• 在一个合成数据集集合上的训练（DGE）相比天真单数据集训练，能获得接近真实数据的性能。
• 天真评估高估现实世界性能，尤其在生成器过拟合时，而 DGE 提供更保守和鲁棒的估计。
• DGE 更好地保留下游任务的真实世界模型排名，减少对过于复杂模型的选择偏差。
• DGE 通过捕捉生成不确定性来改善不确定性量化，使预测不确定性与生成变异性一致。
• DGE 的性能提升在低密度/少数群体区域以及生成器不完美时最大。
• 发布分开的合成数据集（含元数据）使对生成不确定性的估计更为准确。

Figure 2 : Conclusions drawn from synthetic data do not always transfer to real data.