[论文解读] Revisiting Classifier Two-Sample Tests for GAN Evaluation and Causal Discovery

David López-Paz, Maxime Oquab|arXiv (Cornell University)|Oct 20, 2016

Machine Learning and Data Classification被引用 6

一句话总结

本文提出分类器两样本检验（C2ST），一种利用二分类器检测两组数据样本是否来自同一分布的方法。通过训练分类器以区分来自分布P和Q的样本，C2ST将分类准确率作为检验统计量，提供可解释的结果、简单的零分布以及不确定性估计，从而识别出分布差异发生的位置。该方法在生成对抗网络（GAN）评估和因果发现中表现出色。

ABSTRACT

The goal of two-sample tests is to assess whether two samples, $S_P \sim P^n$ and $S_Q \sim Q^m$, are drawn from the same distribution. Perhaps intriguingly, one relatively unexplored method to build two-sample tests is the use of binary classifiers. In particular, construct a dataset by pairing the $n$ examples in $S_P$ with a positive label, and by pairing the $m$ examples in $S_Q$ with a negative label. If the null hypothesis $P = Q$ is true, then the classification accuracy of a binary classifier on a held-out subset of this dataset should remain near chance-level. As we will show, such Classifier Two-Sample Tests (C2ST) learn a suitable representation of the data on the fly, return test statistics in interpretable units, have a simple null distribution, and their predictive uncertainty allow to interpret where $P$ and $Q$ differ. The goal of this paper is to establish the properties, performance, and uses of C2ST. First, we analyze their main theoretical properties. Second, we compare their performance against a variety of state-of-the-art alternatives. Third, we propose their use to evaluate the sample quality of generative models with intractable likelihoods, such as Generative Adversarial Networks (GANs). Fourth, we showcase the novel application of GANs together with C2ST for causal discovery.

研究动机与目标

• 建立分类器两样本检验（C2ST）的理论性质，作为传统两样本检验的稳健替代方法。
• 评估C2ST在统计功效和可靠性方面相较于最先进两样本检验方法的表现。
• 将C2ST应用于生成模型（如GAN）的样本质量评估，尤其针对似然函数难以计算的情形。
• 提出C2ST在因果发现中的新应用，通过利用GAN生成反事实分布来实现。

提出的方法

• 通过将来自分布P的n个样本标记为正例，来自分布Q的m个样本标记为负例，构建二分类数据集。
• 在该组合数据集上训练二分类器，以区分分布P与Q。
• 使用分类器在保留测试集上的准确率作为两样本检验的检验统计量。
• 若分类器准确率显著高于随机水平（50%），则拒绝原假设H₀: P = Q。
• 利用分类器的预测不确定性，解释数据空间中P与Q分布差异发生的位置。
• 在两个新场景中应用C2ST：评估GAN生成样本的质量，以及通过反事实生成实现因果发现。

实验结果

研究问题

• RQ1 与现有两样本检验方法相比，C2ST在统计功效和鲁棒性方面表现如何？
• RQ2 当似然函数难以计算时，C2ST能否有效评估GAN生成样本的质量？
• RQ3 C2ST如何通过反事实生成来检测因果关系？
• RQ4 分类器的不确定性在多大程度上有助于解释P与Q分布之间的差异？

主要发现

• C2ST提供了一种简单且可解释的检验统计量，在假设P = Q时具有明确定义的零分布。
• 该方法能够实时学习数据表示，适应复杂且高维的分布，无需显式特征工程。
• C2ST在性能上与最先进两样本检验方法相当，尤其在高维设置下表现优异。
• 利用预测不确定性可定位分布差异发生的位置，从而揭示P与Q在何处发生偏离。
• C2ST能够有效评估GAN生成样本的质量，即使在似然函数不可计算的情况下也能检测到分布不匹配。
• C2ST与GAN结合，可通过检验生成的反事实是否与观测数据分布一致，从而实现因果发现的新方法。