[论文解读] TabSynDex: A Universal Metric for Robust Evaluation of Synthetic Tabular Data

Vikram S Chundawat, Ayush K Tarun+3 more|arXiv (Cornell University)|Jul 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出 TabSynDex，一种通用的、有界 [0,1] 指标，用于稳健评估合成表格数据的质量，通过整合五个分量得分来评估统计相似性、机器学习有效性、类别表示公平性以及可区分性。该指标实现了 GAN 与统计方法之间的统一比较，并揭示了大多数现有模型（包括 GAN）严重依赖预处理（如 VAE-GMM）而非训练过程来提升质量。

ABSTRACT

Synthetic tabular data generation becomes crucial when real data is limited, expensive to collect, or simply cannot be used due to privacy concerns. However, producing good quality synthetic data is challenging. Several probabilistic, statistical, generative adversarial networks (GANs), and variational auto-encoder (VAEs) based approaches have been presented for synthetic tabular data generation. Once generated, evaluating the quality of the synthetic data is quite challenging. Some of the traditional metrics have been used in the literature but there is lack of a common, robust, and single metric. This makes it difficult to properly compare the effectiveness of different synthetic tabular data generation methods. In this paper we propose a new universal metric, TabSynDex, for robust evaluation of synthetic data. The proposed metric assesses the similarity of synthetic data with real data through different component scores which evaluate the characteristics that are desirable for ``high quality'' synthetic data. Being a single score metric and having an implicit bound, TabSynDex can also be used to observe and evaluate the training of neural network based approaches. This would help in obtaining insights that was not possible earlier. We present several baseline models for comparative analysis of the proposed evaluation metric with existing generative models. We also give a comparative analysis between TabSynDex and existing synthetic tabular data evaluation metrics. This shows the effectiveness and universality of our metric over the existing metrics. Source Code: \url{https://github.com/vikram2000b/tabsyndex}

研究动机与目标

• 解决缺乏统一、稳健且有界指标来评估合成表格数据质量的问题。
• 实现对多样化表格数据生成方法（包括 GAN 和统计模型）的一致且可解释的比较。
• 通过提供单一评分、实时评估信号，支持基于深度学习的生成模型的训练监控。
• 揭示现有生成模型中隐藏的训练动态与低效性，特别是其对预处理而非训练过程的过度依赖。
• 通过评估最先进方法并揭示其局限性，为未来研究建立基准。

提出的方法

• TabSynDex 通过聚合五个分量得分（直方图相似性、相关性保持、类别表示公平性、基于 pMSE 的重建质量、机器学习模型性能）计算单一综合得分。
• 每个分量得分均使用有界且可解释的度量方法归一化至 [0,1] 范围，以确保一致性和可比性。
• 该指标设计为对分布偏移具有鲁棒性，并避免基于相关性的聚合方式可能带来的缺陷，后者可能惩罚具有稳定但非单调偏差的模型。
• 通过在每个训练周期计算 TabSynDex，支持实时训练监控，从而洞察收敛性和学习动态。
• 评估框架包括多个基线模型（如 CTGAN、WGAN-GP、TGAN、VGMM+TGAN）在四个真实世界数据集（混凝土、白葡萄酒、新闻、电厂）上的实验。
• 通过消融研究和长达 200 个周期的长时间训练验证了该指标，揭示了模型随时间的行为。

实验结果

研究问题

• RQ1 单一、有界且可解释的指标能否有效评估多样化生成方法下合成表格数据的质量？
• RQ2 当使用统一指标评估时，现有基于 GAN 的表格数据生成模型的性能如何比较？
• RQ3 当前模型在多大程度上依赖预处理（如 VAE-GMM）而非神经网络训练来提升质量？
• RQ4 TabSynDex 能否检测到深度生成模型中的有意义训练动态与收敛模式？
• RQ5 当前方法在 TabSynDex 指标下可实现的合成数据质量上限是多少？

主要发现

• 没有任何现有方法的 TabSynDex 得分接近真实数据子集的水平，表明当前合成数据质量存在显著差距。
• CTGAN 在所有数据集上均持续优于其他基于 GAN 的模型，表现出最稳定且最高的 TabSynDex 得分。
• WGAN-GP 是唯一所有分量得分（包括 pMSE）均随训练逐步提升的模型，表明其在优化过程中实现了有效学习。
• TGAN 和 TGAN+GRU 模型在 50 个周期后几乎无改进，表明其训练过程中学习能力有限。
• VGMM+TGAN 在 100–140 个周期间出现性能下降，表明即使经过预处理仍存在不稳定性，且仅部分恢复。
• 先前指标中使用基于相关性的聚合方式可能惩罚具有稳定但非单调偏差的模型，导致即使数据子集相似，得分也明显偏低。