[论文解读] TabDDPM: Modelling Tabular Data with Diffusion Models

Akim Kotelnikov, Dmitry Baranchuk+2 more|arXiv (Cornell University)|Sep 30, 2022

Topic Modeling被引用 63

一句话总结

TabDDPM 引入了一种基于扩散的生成模型，用于表格数据，能够处理混合数值和分类特征，在多个基准数据集上达到最先进的性能，并提供隐私友好的合成数据。

ABSTRACT

Denoising diffusion probabilistic models are currently becoming the leading paradigm of generative modeling for many important data modalities. Being the most prevalent in the computer vision community, diffusion models have also recently gained some attention in other domains, including speech, NLP, and graph-like data. In this work, we investigate if the framework of diffusion models can be advantageous for general tabular problems, where datapoints are typically represented by vectors of heterogeneous features. The inherent heterogeneity of tabular data makes it quite challenging for accurate modeling, since the individual features can be of completely different nature, i.e., some of them can be continuous and some of them can be discrete. To address such data types, we introduce TabDDPM -- a diffusion model that can be universally applied to any tabular dataset and handles any type of feature. We extensively evaluate TabDDPM on a wide set of benchmarks and demonstrate its superiority over existing GAN/VAE alternatives, which is consistent with the advantage of diffusion models in other fields. Additionally, we show that TabDDPM is eligible for privacy-oriented setups, where the original datapoints cannot be publicly shared.

研究动机与目标

• 使用扩散模型激励并建模通用表格数据，解决异质特征类型（数值型、分类型、二元型）的问题。
• 提出 TabDDPM，这是一种简单的基于扩散的框架，适用于表格任务，能够处理混合数据类型。
• 在多样化基准上对比领先的表格生成模型（GANs/VAEs）评估 TabDDPM。
• 展示 TabDDPM 在隐私保留的合成数据生成方面的适用性。

提出的方法

• 对分类特征使用多项扩散，对数值特征使用高斯扩散。
• 输入为对分类特征进行独热编码、数值特征归一化；前向扩散在每个特征上独立。
• 用多层感知机建模反向过程，对高斯部分预测噪声，对多项式部分预测类别逻辑概率。
• 通过最小化高斯扩散的均方误差之和以及每个多项式扩散的 KL 项来训练。
• 对于分类，使用类别条件模型；对于回归，将目标变量作为额外的数值特征加入。
• 超参数通过 Optuna 调整，借助 CatBoost 在保留验证集上的机器学习效率进行引导。

实验结果

研究问题

• RQ1 扩散模型是否能够有效扩展到具有异质特征类型的表格数据？
• RQ2 在多样化的基准测试中，TabDDPM 相对于基于 GAN 和 VAE 的表格数据生成器的表现如何？
• RQ3 在数据质量和隐私方面，TabDDPM 是否有竞争力，相较于像 SMOTE 这样的简单基线？
• RQ4 超参数调优对 TabDDPM 在表格任务上的性能有何影响？

主要发现

• 在多个数据集上，TabDDPM 在机器学习效率方面经常超越领先的表格 GAN/ VAE 基线。
• 在定性评估中，TabDDPM 产生的特征分布和相关性比 TVAE 和 CTABGAN+ 更写实。
• 与 SMOTE 相比，TabDDPM 在若干数据集上实现了具竞争力或更高的机器学习效率，并具有更好的隐私特征。
• 调优 TabDDPM 的超参数对效果有显著影响，且基于 CatBoost 指导的调优在 CatBoost 单独评估之外具有泛化性。
• 在对隐私敏感的设置中，TabDDPM 相较于 SMOTE 展示了对真实数据的更大距离（DCR），这表明较低的重复出现原始记录的风险。