[论文解读] On the Usefulness of Synthetic Tabular Data Generation

Dionysis Manousakas, Sergül Aydöre|arXiv (Cornell University)|Jun 27, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文在四种应用场景下评估了合成表格数据在机器学习训练中的实用性：数据共享、摘要生成、数据增强和类别平衡。尽管生成建模技术有所进展，作者发现使用合成数据时下游机器学习性能并未表现出一致的提升，结论是当前方法无法可靠地在仅使用真实数据训练的基础上进一步提升模型效能。

ABSTRACT

Despite recent advances in synthetic data generation, the scientific community still lacks a unified consensus on its usefulness. It is commonly believed that synthetic data can be used for both data exchange and boosting machine learning (ML) training. Privacy-preserving synthetic data generation can accelerate data exchange for downstream tasks, but there is not enough evidence to show how or why synthetic data can boost ML training. In this study, we benchmarked ML performance using synthetic tabular data for four use cases: data sharing, data augmentation, class balancing, and data summarization. We observed marginal improvements for the balancing use case on some datasets. However, we conclude that there is not enough evidence to claim that synthetic tabular data is useful for ML training.

研究动机与目标

• 评估合成表格数据是否能在实际应用场景中提升下游机器学习性能。
• 评估生成模型在数据增强、类别平衡、数据摘要生成和数据共享场景中的有效性。
• 确定合成数据是否能在表格基准数据集上训练模型时达到或超越真实数据的性能表现。
• 通过模拟现有文献中常被忽略的真实世界部署场景，识别当前合成数据评估中的空白。
• 提供实证证据，揭示当前最先进的表格生成模型在提升机器学习训练效率和准确性方面的局限性。

提出的方法

• 基准测试了四种应用场景：数据共享（TS-TR）、摘要生成（用合成数据替代真实数据）、数据增强（TA-TR）和类别平衡（对少数类进行条件生成）。
• 采用两种生成建模方法：从零开始训练的深度生成模型（DGMs）和微调后的预训练大语言模型（LLMs）。
• 在10%、50%和100%的真实数据子集上训练生成模型，以评估可扩展性和数据效率。
• 在合成或增强数据上训练后，使用AutoGluon分类器在真实测试集上评估下游性能。
• 将结果与真实数据基线和SMOTE方法进行对比，采用标准预测指标（如AUC、准确率）。
• 聚焦于模型无关、通用的表格学习任务，以评估在不同数据集上的通用适用性。

Figure 1: ( Synthetic data quality experiment ) Predictive performance of a downstream AutoGluon classifier, which uses synthetic training data sampled from generative models that have been trained on increasing subsets of the real data. The number of synthetic training datapoints increases along th

实验结果

研究问题

• RQ1 在数据共享场景中，合成表格数据能否实现与真实数据相当或更优的下游机器学习性能？
• RQ2 合成数据在多大程度上能够压缩真实数据的统计信息，以实现高效的摘要生成？
• RQ3 在数据稀缺或类别不平衡的表格学习任务中，使用合成样本进行数据增强是否能提升预测准确率？
• RQ4 通过条件生成合成数据能否有效平衡类别分布，并改善模型公平性或性能？
• RQ5 当前最先进的表格数据生成模型在多样化的现实世界应用场景中是否始终有效？

主要发现

• 在数据共享（TS-TR）场景中，合成数据的性能与真实数据相当，但在不同数据集上未观察到一致的性能提升。
• 在数据摘要生成方面，合成数据的下游性能低于等量的真实数据，且仅在与随机子集相比时表现出微弱优势。
• 在数据增强方面，合成数据并未一致提升模型性能，结果通常与仅使用真实数据相当或更差。
• 在类别平衡方面，合成数据仅在四个数据集中的两个上略微优于真实数据和SMOTE，且在AUC或准确率方面未见显著提升。
• 总体而言，在所评估的各类应用场景中，没有一致证据表明合成表格数据能提升机器学习训练的效能。
• 本研究突显了文献中的一个关键空白：真实世界部署场景的模拟常被忽略，且当前方法无法可靠地在真实数据基础上进一步提升模型性能。

Figure 2: ( Data summarization experiment ) Predictive performance of a downstream AutoGluon classifier which uses synthetic training data sampled from a generative model that has been trained on the full real dataset. The number of synthetic training data increases along the $x$ -axis.