[论文解读] Utility Theory of Synthetic Data Generation

Shirong Xu, Will Wei Sun+1 more|arXiv (Cornell University)|May 17, 2023

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

本文通过定义合成数据与原始数据训练模型之间泛化误差差异的通用效用度量，建立了合成数据生成的统计效用理论。该理论推导出解析边界，表明即使在特征保真度不完美时，只要模型设定正确，效用仍能收敛，为回归和分类任务中有效合成数据算法的设计提供了理论指导。

ABSTRACT

Synthetic data algorithms are widely employed in industries to generate artificial data for downstream learning tasks. While existing research primarily focuses on empirically evaluating utility of synthetic data, its theoretical understanding is largely lacking. This paper bridges the practice-theory gap by establishing relevant utility theory in a statistical learning framework. It considers two utility metrics: generalization and ranking of models trained on synthetic data. The former is defined as the generalization difference between models trained on synthetic and on real data. By deriving analytical bounds for this utility metric, we demonstrate that the synthetic feature distribution does not need to be similar as that of real data for ensuring comparable generalization of synthetic models, provided proper model specifications in downstream learning tasks. The latter utility metric studies the relative performance of models trained on synthetic data. In particular, we discover that the distribution of synthetic data is not necessarily similar as the real one to ensure consistent model comparison. Interestingly, consistent model comparison is still achievable even when synthetic responses are not well generated, as long as downstream models are separable by a generalization gap. Finally, extensive experiments on non-parametric models and deep neural networks have been conducted to validate these theoretical findings.

研究动机与目标

• 为解决当前对合成数据算法如何影响下游模型泛化性能缺乏理论理解的问题。
• 基于原始数据与合成数据之间泛化误差的差异，建立一个通用且可量化的效用度量。
• 识别效用度量收敛至零的关键条件，确保合成数据能够保持模型性能。
• 建立合成数据算法维持一致模型泛化性能排序的充分条件。
• 通过非参数模型和深度神经网络的实证验证，检验理论发现。

提出的方法

• 将效用度量定义为在原始数据和合成数据集上训练的模型之间泛化误差绝对差。
• 在回归和分类任务中推导效用度量的解析边界，将其分解为四个组成部分：估计误差、合成特征质量、回归函数估计和模型设定。
• 使用卡方散度和保真度水平概念，表征原始与合成特征分布之间的相似性。
• 在各种假设下（包括模型设定正确性和特征保真度）建立效用度量的收敛条件。
• 将边界应用于三个示例：高斯混合模型、有界密度比和(V,d)-保真度水平，证明其在不同分布下的鲁棒性。
• 通过在非参数模型和深度学习模型上进行广泛实验，验证理论结果。

Figure 1 : The architecture for generating and evaluating synthetic data in supervised learning.

实验结果

研究问题

• RQ1 在何种条件下，基于合成数据和原始数据训练的模型之间泛化误差差异收敛至零？
• RQ2 当下游任务的模型设定正确时，模型设定正确性在多大程度上减少了对完美特征保真度的需求？
• RQ3 合成数据算法必须具备何种性质，才能保持模型泛化性能的排序？
• RQ4 效用度量的各个组成部分——估计误差、特征质量、函数估计和模型设定——如何影响整体效用？
• RQ5 理论上的效用边界是否可在多种模型架构和数据类型上得到实证验证？

主要发现

• 若合成特征具有完美保真度，且合成数据算法能良好近似特征与响应之间的关系，则效用度量收敛至零。
• 令人惊讶的是，若下游任务的模型设定正确，即使没有完美特征保真度，效用度量仍可收敛，凸显了模型结构相较于分布保真度的重要性。
• 解析边界将效用分解为四个关键组成部分，为通过针对性解决特定误差源来改进合成数据算法提供了路线图。
• 对于具有有界密度比的分布，可利用(V,d)-保真度水平对原始分布与合成分布之间的卡方散度进行有界控制，从而在较弱条件下确保效用收敛。
• 实证验证表明，理论边界在非参数模型和深度神经网络上均成立，支持所提框架的鲁棒性。
• 该框架建立了充分条件，使得基于合成数据的模型泛化性能排序与原始数据一致，从而支持可靠的模型比较。

Figure 2 : An illustrative example for consistent model comparison when the synthetic and original distributions are not the same.