[论文解读] Two-sample Testing Using Deep Learning

Matthias Kirchler, Shahryar Khorasani+2 more|arXiv (Cornell University)|Oct 14, 2019

Music and Audio Processing参考文献 33被引用 7

一句话总结

本文提出了一种基于深度学习的两样本检验方法，利用预训练神经网络的表征来提升统计功效。通过将数据映射到隐藏层并应用渐近位置检验，该方法相较于最先进的方法（如MMD和C2ST）在类型-2误差上最高可降低35个百分点，同时保持适当的类型-1误差控制，并实现线性时间计算。

ABSTRACT

We propose a two-sample testing procedure based on learned deep neural network representations. To this end, we define two test statistics that perform an asymptotic location test on data samples mapped onto a hidden layer. The tests are consistent and asymptotically control the type-1 error rate. Their test statistics can be evaluated in linear time (in the sample size). Suitable data representations are obtained in a data-driven way, by solving a supervised or unsupervised transfer-learning task on an auxiliary (potentially distinct) data set. If no auxiliary data is available, we split the data into two chunks: one for learning representations and one for computing the test statistic. In experiments on audio samples, natural images and three-dimensional neuroimaging data our tests yield significant decreases in type-2 error rate (up to 35 percentage points) compared to state-of-the-art two-sample tests such as kernel-methods and classifier two-sample tests.

研究动机与目标

• 为解决传统两样本检验在处理复杂结构化数据（如图像、音频和神经影像）时的局限性。
• 通过利用从辅助数据或数据划分中学习到的深度神经网络表征来提升统计功效。
• 开发一种在温和假设下保持渐近类型-1误差控制并实现一致性（类型-2误差趋于零）的检验方法。
• 实现高效、线性时间的检验统计量评估，无需依赖重采样或核选择敏感性。
• 在高维和复杂数据场景下，为核方法和基于分类器的检验提供一种稳健、数据驱动的替代方案。

提出的方法

• 该方法使用在辅助数据集上训练的预训练深度神经网络，或通过数据划分训练的网络，从输入样本中提取表征。
• 提出两种检验统计量：一种基于最大均值差异（MMD），另一种基于费希尔判别分析，两者均应用于隐藏层表征。
• 在原假设下，检验统计量渐近服从正态分布，可通过标准正态近似计算p值。
• 该方法允许线性时间评估检验统计量，随样本量增长高效扩展。
• 使用迁移学习获取稳健且可泛化的表征，即使辅助数据与测试数据不同亦成立。
• 当无辅助数据可用时，该方法将数据分为两部分：一部分用于表征学习，另一部分用于检验统计量计算。

实验结果

研究问题

• RQ1 深度神经网络表征能否提升在图像、音频和3D神经影像等复杂数据上的两样本检验功效？
• RQ2 基于深度学习的两样本检验是否能在实现一致性的同时保持适当的类型-1误差控制？
• RQ3 与最先进的方法（如MMD和分类器两样本检验）相比，所提方法在降低类型-2误差方面表现如何？
• RQ4 该方法能否在保持统计稳健性的同时实现线性时间计算？
• RQ5 该方法对超参数、迁移学习选择或近似训练的敏感性如何？

主要发现

• 所提出的深度两样本检验在音频、图像和神经影像数据上相较于最先进的方法，类型-2误差最高可降低35个百分点。
• 该方法渐近控制类型-1误差率，确保在原假设下有效的统计推断。
• 该检验具有一致性，即随着样本量增加，类型-2误差率收敛至零。
• 检验统计量可在线性时间内计算，使该方法可扩展至大规模数据集。
• 在包括3D MRI扫描和面部表情数据在内的多种数据模态中，该方法优于基于核的MMD和基于分类器的两样本检验。
• 该方法对迁移学习和近似训练具有鲁棒性，支持使用预训练模型进行实际部署。