[论文解读] On the power of Chatterjee rank correlation

Hongjian Shi, Mathias Drton+1 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Statistical Methods and Models参考文献 30被引用 7

一句话总结

本文在一致性、计算效率和统计功效方面，将 Chatterjee 的等级相关系数与既有的替代方法——Hoeffding 的 $D$、Blum–Kiefer–Rosenblatt 的 $R$ 以及 Bergsma–Dassios–Yanagimoto 的 $\tau^*$——进行了比较。主要发现是，尽管 Chatterjee 的系数在渐近正态性和计算效率方面表现良好，但在局部替代假设下其收敛速率次优，因此在独立性检验的检测功效方面，$D$、$R$ 和 $\tau^*$ 更为优越。

ABSTRACT

Chatterjee (2021) introduced a simple new rank correlation coefficient that has attracted much recent attention. The coefficient has the unusual appeal that it not only estimates a population quantity first proposed by Dette et al. (2013) that is zero if and only if the underlying pair of random variables is independent, but also is asymptotically normal under independence. This paper compares Chatterjee's new correlation coefficient to three established rank correlations that also facilitate consistent tests of independence, namely, Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $τ^*$. We contrast their computational efficiency in light of recent advances, and investigate their power against local rotation and mixture alternatives. Our main results show that Chatterjee's coefficient is unfortunately rate sub-optimal compared to $D$, $R$, and $τ^*$. The situation is more subtle for a related earlier estimator of Dette et al. (2013). These results favor $D$, $R$, and $τ^*$ over Chatterjee's new correlation coefficient for the purpose of testing independence.

研究动机与目标

• 评估 Chatterjee 的等级相关系数相对于既有的非参数依赖度量在统计功效和效率方面的表现。
• 评估 Chatterjee 的系数是否尽管结构简单且渐近正态，但在局部替代假设下仍能实现最优检测速率。
• 比较 Chatterjee 的系数与 $D$、$R$ 和 $\tau^*$ 的计算效率，三者均可在 $O(n/\log n)$ 时间内计算。
• 研究 Chatterjee 的系数在 Farlie 和 Konijn 启发的局部依赖替代假设下，相对于 $D$、$R$ 和 $\tau^*$ 的速率最优性。
• 阐明 Chatterjee 的系数与早期 Dette–Siburg–Stoimenov 相关系数 $\theta$ 估计量相比，在检测边界性能方面的相对优势。

提出的方法

• 作者使用 Le Cam 的第三 lemma 分析在局部替代假设下检验统计量的渐近行为，从而实现检测速率的比较。
• 他们应用 Hellinger 距离和卡方距离来界定原假设与替代假设分布之间的总变差距离，建立总变差距离有界的条件。
• 分析依赖于假设 1 和假设 2，分别规定了底层分布和联合分布局部扰动的正则性条件。
• 作者推导出原假设与局部替代假设分布之间 Hellinger 距离和卡方距离的渐近表达式，将其与费舍尔信息 $\tilde{\rho}(0)$ 和 $\tilde{\rho}^2(0)$ 联系起来。
• 他们比较了 Chatterjee 系数与 $D$、$R$ 和 $\tau^*$ 的检测边界，表明 Chatterjee 方法在局部替代假设下无法达到相同的检测速率。
• 理论结果通过渐近展开和收敛性论证得到支持，特别是利用关系式 $1 - \frac{1}{2}H^2(F^{(a)}, F^{(0)}) \to \exp(-\frac{\Delta_0^2 \mathcal{I}_X(0)}{8})$ 在假设 1 成立下的成立。

实验结果

研究问题

• RQ1 与 $D$、$R$ 和 $\tau^*$ 相比，Chatterjee 的等级相关系数在检测局部独立性替代假设时是否达到速率最优？
• RQ2 在局部旋转和混合替代假设下，Chatterjee 的系数与 $D$、$R$ 和 $\tau^*$ 的统计功效如何比较？
• RQ3 在局部替代假设下，Chatterjee 的系数能否达到与 $D$、$R$ 和 $\tau^*$ 相同的检测边界，还是其速率次优？
• RQ4 费舍尔信息 $\tilde{\rho}(0)$ 和 $\tilde{\rho}^2(0)$ 在确定 Chatterjee 系数的检测边界中起什么作用？
• RQ5 Chatterjee 系数的渐近正态性是否能弥补其在局部替代假设下检测速率次优的缺陷？

主要发现

• 在局部替代假设下，Chatterjee 的等级相关系数相比 $D$、$R$ 和 $\tau^*$ 速率次优，意味着其无法在常数因子范围内达到相同的检测边界。
• 尽管具有渐近正态性和 $O(n\log n)$ 时间内的计算效率，Chatterjee 的系数在局部依赖替代假设下的检测功效仍不及 $D$、$R$ 和 $\tau^*$。
• Chatterjee 系数的检测边界受最优速率的常数倍上界限制，表明其无法像 $D$、$R$ 和 $\tau^*$ 那样高效检测弱依赖关系。
• 在假设 1 下，当 $\beta$ 足够小时，原假设与局部替代假设分布之间的总变差距离保持小于 1，意味着非平凡检测是可能的，但无法以最优速率实现。
• 在假设 2 下，卡方距离分析确认 Chatterjee 的系数未达到与 $D$、$R$ 和 $\tau^*$ 相同的检测速率，检测边界依赖于 $\tilde{\rho}^2(0)$。
• 本文结论为：尽管 Chatterjee 方法更简单且渐近正态，但在独立性检验中，$D$、$R$ 和 $\tau^*$ 在统计效率上仍优于 Chatterjee 的系数。