[论文解读] Revisiting Classifier Two-Sample Tests

David López-Paz, Maxime Oquab|arXiv (Cornell University)|Oct 20, 2016

Machine Learning and Data Classification被引用 59

一句话总结

本文提出分类器两样本检验（C2ST），一种新颖方法，通过训练二分类器来区分两组数据样本，将二分类器重新用作两样本假设检验。通过在保留集上测量分类准确率，C2ST 提供可解释的检验统计量、简单的渐近分布，并通过特征重要性和不确定性实现内置可解释性，在评估生成模型方面达到最先进性能，并可拓展至生成对抗网络（GANs）的因果发现等新应用。

ABSTRACT

The goal of two-sample tests is to assess whether two samples, $S_P \sim P^n$ and $S_Q \sim Q^m$, are drawn from the same distribution. Perhaps intriguingly, one relatively unexplored method to build two-sample tests is the use of binary classifiers. In particular, construct a dataset by pairing the $n$ examples in $S_P$ with a positive label, and by pairing the $m$ examples in $S_Q$ with a negative label. If the null hypothesis "$P = Q$" is true, then the classification accuracy of a binary classifier on a held-out subset of this dataset should remain near chance-level. As we will show, such Classifier Two-Sample Tests (C2ST) learn a suitable representation of the data on the fly, return test statistics in interpretable units, have a simple null distribution, and their predictive uncertainty allow to interpret where $P$ and $Q$ differ. The goal of this paper is to establish the properties, performance, and uses of C2ST. First, we analyze their main theoretical properties. Second, we compare their performance against a variety of state-of-the-art alternatives. Third, we propose their use to evaluate the sample quality of generative models with intractable likelihoods, such as Generative Adversarial Networks (GANs). Fourth, we showcase the novel application of GANs together with C2ST for causal discovery.

研究动机与目标

• 建立分类器两样本检验（C2ST）的理论与实际性质，作为传统两样本检验的稳健替代方案。
• 在合成数据与真实世界数据（包括复杂高维分布）上，评估 C2ST 与最先进方法的性能表现。
• 提出 C2ST 作为评估生成模型样本质量的方法，尤其适用于似然函数难以计算的模型（如 GANs）。
• 提出 C2ST 与条件生成对抗网络（CGANs）结合的新应用，用于因果推断中的因果关系发现。

提出的方法

• 通过将来自分布 P 的 n 个样本标记为正例，来自分布 Q 的 m 个样本标记为负例，构建二分类数据集。
• 在该组合数据集上训练二分类器，并在保留的测试集上评估其准确率，形成检验统计量。
• 将分类器的准确率作为检验统计量：在原假设 H0（P = Q）下，准确率应接近随机水平（类别平衡时约为 50%）。
• 利用分类器学习到的特征与预测不确定性，解释分布 P 与 Q 的差异所在。
• 通过将生成模型生成的样本与真实数据进行比较，利用检验统计量评估 GAN 生成样本的质量。
• 使用 CGANs 建模两种因果方向（X→Y 与 Y→X），然后应用 C2ST 依据更低的检验统计量选择更简单、更合理的因果方向。

实验结果

研究问题

• RQ1 二分类器能否被有效重新用作具有有利理论与实际性质的两样本检验？
• RQ2 C2ST 在统计功效与可解释性方面，相较于 MMD、HSIC 和 IGCI 等现有两样本检验方法表现如何？
• RQ3 C2ST 能否用于评估 GAN 的样本质量，尤其是在似然函数难以计算的情况下？
• RQ4 C2ST 与 CGANs 结合，能否在不假设加性噪声的前提下实现稳健的因果发现？

主要发现

• C2ST 在两样本检验中达到最先进性能，在图宾根因果对数据集上优于 ANM-HSIC、IGCI 和 RCC 等方法。
• 在图宾根数据集上，Ensemble-CGAN-C2ST 方法在因果发现中达到 82% 的准确率，优于 RCC（76%）与 ANM-HSIC（67%）。
• C2ST 通过特征重要性与预测不确定性，提供对分布差异的可解释洞察，可分析 P 与 Q 的差异位置。
• 该方法展现出强大的检验功效与鲁棒性，具有简单的渐近零分布与较低的 I 类错误率。
• C2ST 无需计算似然即可有效评估 GAN 模型，特别适用于似然难以计算的模型（如 GANs）。
• CGANs 与 C2ST 的结合，提供一种新颖的非参数因果发现方法，避免了对加性噪声的严格假设。