[论文解读] On the Limitation of Diffusion Models for Synthesizing Training Datasets

Shin’ya Yamaguchi, Takuma Fukuda|arXiv (Cornell University)|Nov 22, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文研究了为何最先进的扩散模型在生成高保真度合成样本的同时，仍无法复现真实训练数据集以用于训练分类器。通过受控的反向去噪步骤重建真实图像，作者发现合成样本会逐渐集中于数据分布的模式附近，导致因丢失异常值和高熵特征而使分类器性能下降。

ABSTRACT

Synthetic samples from diffusion models are promising for leveraging in training discriminative models as replications of real training datasets. However, we found that the synthetic datasets degrade classification performance over real datasets even when using state-of-the-art diffusion models. This means that modern diffusion models do not perfectly represent the data distribution for the purpose of replicating datasets for training discriminative tasks. This paper investigates the gap between synthetic and real samples by analyzing the synthetic samples reconstructed from real samples through the diffusion and reverse process. By varying the time steps starting the reverse process in the reconstruction, we can control the trade-off between the information in the original real data and the information added by diffusion models. Through assessing the reconstructed samples and trained models, we found that the synthetic data are concentrated in modes of the training data distribution as the reverse step increases, and thus, they are difficult to cover the outer edges of the distribution. Our findings imply that modern diffusion models are insufficient to replicate training data distribution perfectly, and there is room for the improvement of generative modeling in the replication of training datasets.

研究动机与目标

• 研究仅使用扩散模型生成的合成数据训练分类器时性能下降的原因。
• 识别真实数据集与合成数据集在数据分布覆盖范围上的差距的根本原因。
• 分析扩散模型的反向去噪过程如何影响样本质量与分类器泛化能力。
• 评估合成样本在特征空间中是否保留了真实数据的结构与语义特性。
• 为下游分类任务中的生成建模与数据集复现提供洞见。

提出的方法

• 通过将扩散过程推进至预设的噪声步长，再使用反向去噪过程进行重建，以恢复真实图像。
• 通过调节起始反向步骤（反向步长）来控制反向过程，以调节真实信息与合成信息之间的权衡。
• 在不同反向步长下使用重建的合成数据集训练分类器，以评估性能下降情况。
• 利用特征可视化（PCA）与注意力图（GradCAM）分析分类器特征空间中合成样本的分布与行为。
• 测量分类器输出的熵值，以评估合成样本的难度与代表性。
• 分析反向过程与基于得分的似然最大化之间的关系，表明每一步反向去噪都会使样本向更高似然（模式）区域移动。

实验结果

研究问题

• RQ1 为何仅使用扩散模型生成的合成数据训练的分类器性能劣于使用真实数据训练的分类器？
• RQ2 扩散模型的反向去噪过程如何影响特征空间中合成样本的分布？
• RQ3 合成样本在多大程度上保留了真实训练数据的结构与语义多样性？
• RQ4 反向过程是否会系统性地将样本偏向数据分布的模式区域？
• RQ5 是否可以修改反向过程以更好地覆盖数据分布的外边缘？

主要发现

• 由最先进的扩散模型生成的合成样本在视觉质量上与真实样本几乎无法区分。
• 随着反向步长的增加，分类器性能持续下降，表明合成信息越多，泛化能力越差。
• 合成样本比真实样本更容易分类，表现为分类器输出熵更低。
• 特征可视化显示，合成样本集中在真实数据分布的模式附近，未能覆盖外边缘区域。
• 反向去噪过程系统性地将样本拉向更高似然区域，解释了样本集中现象。
• 分类器的注意力图在真实样本与合成样本之间保持一致，表明学习到的表征未发生结构扭曲。