[论文解读] The Chi-Square Test of Distance Correlation

Cencheng Shen, Sambit Panda+1 more|arXiv (Cornell University)|Dec 27, 2019

Bayesian Methods and Mixture Models参考文献 33被引用 8

一句话总结

本文提出了一种快速、非参数化的卡方检验方法，用于偏差校正的距离相关性检验，替代计算成本高昂的置换检验。该方法利用卡方分布对零分布进行近似，实现常数时间的 p 值计算，且统计功效与置换检验相当，并在温和条件下具备普遍一致性和有效性。

ABSTRACT

Distance correlation has gained much recent attention in the data science community: the sample statistic is straightforward to compute and asymptotically equals zero if and only if independence, making it an ideal choice to discover any type of dependency structure given sufficient sample size. One major bottleneck is the testing process: because the null distribution of distance correlation depends on the underlying random variables and metric choice, it typically requires a permutation test to estimate the null and compute the p-value, which is very costly for large amount of data. To overcome the difficulty, in this paper we propose a chi-square test for distance correlation. Method-wise, the chi-square test is non-parametric, extremely fast, and applicable to bias-corrected distance correlation using any strong negative type metric or characteristic kernel. The test exhibits a similar testing power as the standard permutation test, and can be utilized for K-sample and partial testing. Theory-wise, we show that the underlying chi-square distribution well approximates and dominates the limiting null distribution in upper tail, prove the chi-square test can be valid and universally consistent for testing independence, and establish a testing power inequality with respect to the permutation test.

研究动机与目标

• 解决大规模数据分析中距离相关性置换检验的高计算成本问题。
• 开发一种快速、非参数化的置换检验替代方法，同时保持高统计功效。
• 在一般条件下，建立卡方检验用于距离相关性的理论有效性与一致性。
• 利用所提方法实现高效的 K 样本检验与偏相关性检验。
• 证明卡方检验在已知分布（如 t 检验、F 检验）下是所有有效检验中功效最强的。

提出的方法

• 提出使用统计量 $ n \times \texttt{Dcor}_n(\textbf{X}, \textbf{Y}) $ 的卡方检验方法，其中 p 值计算为 $ p = \text{Prob}(nC < \chi^2_1 - 1) $。
• 通过中心化矩阵 $ \mathbf{H} = \mathbf{I} - \mathbf{1}\mathbf{1}^T/n $ 对距离矩阵 $ \mathbf{D}^\mathbf{X} $ 和 $ \mathbf{D}^\mathbf{Y} $ 进行中心化，以计算距离协方差。
• 证明偏差校正的距离相关性的极限零分布在上尾部分可被卡方分布良好近似。
• 证明卡方分布支配极限零分布，确保在小第一类错误水平下的有效性。
• 通过将卡方近似扩展至多变量和条件依赖结构，将该检验方法推广至 K 样本和偏相关性检验。
• 证明该方法计算高效，在一维数据且使用欧氏距离时，时间复杂度达到 $ \mathcal{O}(n\log n) $，与皮尔逊相关系数速度相当。

实验结果

研究问题

• RQ1 能否在保持相当统计功效的前提下，用快速、非参数化的卡方检验替代距离相关性的置换检验？
• RQ2 卡方分布是否能为偏差校正的距离相关性的极限零分布提供有效且一致的近似？
• RQ3 所提出的卡方检验是否在各种数据类型和维度下对独立性检验具有普遍一致性和有效性？
• RQ4 卡方检验的检验功效与置换检验及距离相关性 t 检验相比如何？
• RQ5 卡方检验能否在不损失速度或准确性的前提下，扩展至 K 样本和偏相关性检验？

主要发现

• 在模拟中，卡方检验与标准置换检验的统计功效相近，最大功效差异小于 0.05。
• 卡方分布能良好地近似并支配偏差校正距离相关性极限零分布的上尾部分，确保有效性。
• 该方法在 $ n \geq 20 $ 且 $ \alpha \leq 0.05 $ 条件下具有普遍一致性和有效性，并有第一类错误控制的理论保证。
• 如通过检验功效不等式所证明，卡方检验是所有使用已知分布（如 t 检验、F 检验）的有效检验中功效最强的。
• 对于使用欧氏距离的一维数据，该方法的时间复杂度为 $ \mathcal{O}(n\log n) $，使其可扩展至数十亿个观测值。
• 该方法适用于任意强负类型度量或特征核，适用于多变量、K 样本和偏相关性检验场景。