[论文解读] The Randomized Dependence Coefficient

David López-Paz, Philipp Hennig+1 more|arXiv (Cornell University)|Apr 29, 2013

Neural Networks and Applications参考文献 24被引用 105

一句话总结

该论文提出了随机依赖系数（RDC），一种可扩展的非线性依赖度量方法，用于衡量多变量随机变量之间的依赖关系。RDC通过经验经验Copula变换的随机非线性投影来估计Hirschfeld-Gebelein-Rényi最大相关系数。RDC具有$O(n\log n)$的计算复杂度，对单调边际变换具有不变性，并在非函数型依赖模式下表现出优于现有方法的速度和性能。

ABSTRACT

We introduce the Randomized Dependence Coefficient (RDC), a measure of non-linear dependence between random variables of arbitrary dimension based on the Hirschfeld-Gebelein-Rényi Maximum Correlation Coefficient. RDC is defined in terms of correlation of random non-linear copula projections; it is invariant with respect to marginal distribution transformations, has low computational cost and is easy to implement: just five lines of R code, included at the end of the paper.

研究动机与目标

• 开发一种计算高效的非线性依赖度量方法，满足Rényi对依赖关系的七个基本性质。
• 通过提出一种实用估计器，解决Hirschfeld-Gebelein-Rényi最大相关系数（HGR）的不可计算性问题。
• 创建一种对单调边际变换不变且可扩展至高维和大规模样本数据的方法。
• 提供一种轻量级替代方案，以替代现有非线性依赖度量方法（如dCor、MMD、MIC和KCCA），这些方法存在计算成本高或实现复杂的问题。

提出的方法

• 对输入数据应用经验Copula变换以消除边际分布的影响，使用概率积分变换。
• 通过将正弦和余弦基函数应用于Copula变换数据的线性组合，生成$k$个随机非线性投影。
• 计算两个随机变量投影表示之间的最大典型相关性。
• 利用随机投影近似HGR系数中的上确界，避免在无限维函数空间中进行穷举优化。
• 利用典型相关性在线性变换下的不变性以及随机投影的稳定性，确保方法的鲁棒性。
• 仅用五行为R代码实现该方法，便于集成到数据分析流程中。

实验结果

研究问题

• RQ1 能否开发一种计算高效的估计器，以近似难以计算的Hirschfeld-Gebelein-Rényi最大相关系数？
• RQ2 基于随机投影的方法是否能在保持HGR系数理论性质的同时实现可扩展性？
• RQ3 在非函数型依赖模式下，RDC与现有非线性依赖度量方法（如dCor、MIC、MMD）相比，在计算效率和检测能力方面表现如何？
• RQ4 RDC在真实世界和合成数据中对单调边际变换的不变性在多大程度上得以保持？
• RQ5 RDC能否在高维特征选择任务中有效识别复杂且非线性的依赖关系？

主要发现

• RDC实现$O(n\log n)$的计算复杂度，在大规模数据集上显著优于dCor、MMD、CMMD和MIC等二次代价方法。
• 在合成数据上，RDC在检测非函数型依赖（如圆形、正弦混合模式）方面表现出强大能力，且在直线和阶跃函数情况下也具有竞争力。
• 在八个真实世界数据集的特征选择任务中，RDC在最小化归一化均方误差方面达到最佳或接近最佳性能，且运行时间显著低于dCor、MMD和CMMD。
• RDC在所有非独立关联模式下的得分接近1.0，在独立数据上的得分接近0.0，表现出强大的敏感性和特异性。
• 该方法满足Rényi公理对单调边际变换不变性的要求，并在增加加性噪声下表现良好。
• RDC的实现仅需五行R代码，具有高度可访问性，易于集成到现有数据科学工作流中。