[论文解读] The Classification Permutation Test: A Nonparametric Test for Equality of Multivariate Distributions

Johann A. Gagnon-Bartsch, Yotam Shem-Tov|arXiv (Cornell University)|Nov 19, 2016

Advanced Causal Inference Techniques参考文献 10被引用 3

一句话总结

分类排列检验（CPT）是一种非参数方法，通过将分类算法（例如逻辑回归、随机森林）与排列推断相结合，检验多变量分布相等性，以评估协变量是否能够预测处理分配。该方法提供精确的有限样本推断，在检测协变量不平衡方面相较于现有非参数检验展现出更优的统计功效，尤其在联合分布存在偏差而非仅边际矩时表现更优。

ABSTRACT

The gold standard for identifying causal relationships is a randomized controlled experiment. In many applications in the social sciences and medicine, the researcher does not control the assignment mechanism and instead may rely upon natural experiments, regression discontinuity designs, RCTs with attrition, or matching methods as a substitute to experimental randomization. The standard testable implication of random assignment is covariate balance between the treated and control units. Covariate balance is therefore commonly used to validate the claim of "as-if" random assignment. We develop a new nonparametric test of covariate balance. Our Classification Permutation Test (CPT) is based on a combination of classification methods (e.g. logistic regression or random forests) with Fisherian permutation inference. The CPT is guaranteed to have correct coverage and is consistent under weak assumptions on the chosen classifier. To illustrate the gains of using the CPT, we revisit four real data examples: Lyall (2009); Green and Winik (2010); Eggers and Hainmueller (2009); and Rouse (1995). Monte Carlo power simulations are used to compare the CPT to two existing nonparametric tests of equality of multivariate distributions.

研究动机与目标

• 开发一种在观测研究中处理随机分配未受控制的情境下，用于检验多变量分布相等性的稳健非参数检验方法。
• 解决现有平衡检验方法的局限性，这些方法仅关注边际分布或均值差异，可能忽略联合协变量分布中的复杂不平衡。
• 展示如何将机器学习分类器与严格的统计推断相结合，以改进协变量不平衡的检测能力。
• 为社会科学和生物统计学等应用研究领域提供一种实用、可解释且强大的替代方案，以取代平衡表和标准t检验。

提出的方法

• CPT利用观察到的协变量训练一个分类器（例如逻辑回归、随机森林），以区分处理组与对照组单位。
• 计算样本外分类准确率作为检验统计量，衡量协变量预测处理状态的能力。
• 使用排列推断生成零分布：对单位的处理标签进行随机排列，并在每次排列下重新计算分类准确率。
• p值计算为在排列样本中分类器准确率不低于观测准确率的比例，从而确保精确的I类错误控制。
• 在分类器满足弱假设的前提下，该方法具有一致性，前提是分类器能够渐近地区分两种分布。
• 为避免数据窥探（data snooping），作者建议报告来自多种分类器（例如逻辑回归和随机森林）的结果，并使用样本外准确率以确保结果稳健。

实验结果

研究问题

• RQ1 基于分类性能的非参数检验是否能比依赖边际矩或均值差异的传统方法更有效地检测协变量不平衡？
• RQ2 CPT在检测多变量分布差异方面，与现有非参数检验（如交叉匹配检验和能量检验）相比，统计功效如何？
• RQ3 在社会科学应用中，‘黑箱’机器学习分类器在有效、基于推断的假设检验中可被使用到何种程度？
• RQ4 与标准平衡诊断相比，CPT是否能为自然实验、断点回归设计和匹配方法中的‘准随机分配’提供更可靠的验证？

主要发现

• 在蒙特卡洛模拟中，CPT在检测多变量不平衡方面始终优于交叉匹配检验和能量检验，尤其在非线性偏差或联合分布差异存在时表现更优。
• 在真实数据应用中，CPT检测到Eggers和Hainmueller（2009）研究中被标准平衡检验遗漏的显著协变量不平衡，为他们的断点回归设计的有效性提供了新的审视视角。
• CPT为Green和Winik（2010）研究中的‘法官设计’识别策略提供了强有力证据，证实了其因果推断的稳健性。
• 该检验在弱假设下保持正确的尺寸（I类错误率），并具有一致性，即使使用如随机森林等灵活分类器亦成立。
• 使用样本外准确率而非样本内准确率可防止退化行为（例如因过拟合导致的完美样本内分类），从而确保推断的有效性。
• 当测试集在处理组与对照组之间保持平衡，且分类器对类别标签采用均匀先验时，该方法对处理不平衡具有鲁棒性。