[论文解读] Robust Multivariate Nonparametric Tests via Projection-Averaging

Ilmun Kim, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Mar 2, 2018

Advanced Statistical Methods and Models参考文献 61被引用 8

一句话总结

本文提出了一种鲁棒、无需调参的多变量两样本检验方法，基于Cramér-von Mises统计量的投影平均，该方法在所有固定替代假设下具有一致性，并在重尾分布下表现最优。该方法采用角度距离作为欧几里得距离的鲁棒替代，并在位置变化模型下实现了与基于均值的检验相当的高维检验功效，且通过置换检验获得了理论保证。

ABSTRACT

In this work, we generalize the Cramér-von Mises statistic via projection-averaging to obtain a robust test for the multivariate two-sample problem. The proposed test is consistent against all fixed alternatives, robust to heavy-tailed data and minimax rate optimal against a certain class of alternatives. Our test statistic is completely free of tuning parameters and is computationally efficient even in high dimensions. When the dimension tends to infinity, the proposed test is shown to have comparable power to the existing high-dimensional mean tests under certain location models. As a by-product of our approach, we introduce a new metric called the angular distance which can be thought of as a robust alternative to the Euclidean distance. Using the angular distance, we connect the proposed method to the reproducing kernel Hilbert space approach. In addition to the Cramér-von Mises statistic, we demonstrate that the projection-averaging technique can be used to define robust, multivariate tests in many other problems.

研究动机与目标

• 开发一种对所有固定替代假设都一致的鲁棒非参数多变量两样本检验方法。
• 消除现有基于能量的检验中常见的调参依赖和矩假设。
• 通过在所有方向上进行投影平均，将单变量Cramér-von Mises统计量推广至高维。
• 建立理论性质，包括在HDLSS设定下的极小极大最优性和渐近正态性。
• 引入角度距离作为多变量检验中欧几里得距离的鲁棒替代。

提出的方法

• 通过投影平均提出多变量Cramér-von Mises距离：$ W_d^2(P_X,P_Y) = \int_{\mathbb{S}^{d-1}} \int_{\mathbb{R}} (F_{\beta^\top X}(t) - F_{\beta^\top Y}(t))^2 dH_\beta(t) d\lambda(\beta) $。
• 使用$ W_d^2 $的无偏估计量且无需调参，从而在高维下实现计算效率。
• 应用置换检验确定临界值，确保在$ H_0 $下有效控制第一类错误。
• 引入角度距离作为欧几里得距离的鲁棒替代，其定义基于向量之间的夹角。
• 利用角度距离作为核函数，将该方法与再生核希尔伯特空间（RKHS）框架相联系。
• 证明该检验统计量在正交变换下不变，并满足特征性质：当且仅当$ P_X = P_Y $时其值为零。

实验结果

研究问题

• RQ1 Cramér-von Mises统计量能否以保持鲁棒性和一致性的方法推广至多变量设置？
• RQ2 是否存在一种方法可在不依赖调参的同时，保持高维两样本检验的高功效？
• RQ3 与基于能量的检验相比，该方法在重尾或污染分布下的表现如何？
• RQ4 在高维、小样本（HDLSS）设定下，该检验的渐近行为如何？
• RQ5 投影平均能否用于构建其他多变量非参数问题中的鲁棒、极小极大最优检验？

主要发现

• 所提出的检验在所有固定替代假设下具有一致性，且对重尾分布具有鲁棒性，在矩不存在时优于基于能量的检验。
• 在HDLSS设定下，该检验在位置变化模型下的功效与高维均值检验相当，并已建立渐近正态性。
• 在强相关、重尾的多变量t分布模拟中，当$ \upsilon \leq 7 $时，该检验保持高功效，优于能量检验和MMD检验。
• 基于投影平均的Cramér-von Mises统计量检验（CvM-Proj）在$ \upsilon \leq 7 $时优于能量检验和MMD检验，当$ \upsilon=7 $时功效达到0.880。
• 角度距离度量被证明是欧几里得距离的鲁棒替代，并将该方法与RKHS框架联系起来。
• 基于置换的临界值程序确保了第一类错误的有效控制，且在一般矩假设和高维渐近设定下建立了理论性质。