[论文解读] Mutual Dependence: A Novel Method for Computing Dependencies Between Random Variables

Rahul Agarwal, Pierre Sacré+1 more|arXiv (Cornell University)|Jun 1, 2015

Advanced Clustering Algorithms Research被引用 4

一句话总结

该论文提出了一种新颖的直接估计器，用于互依赖性——一种满足格兰杰公理且在严格单调变换下不变的理论理想依赖度量。通过带限最大似然（BLML）估计器，该方法直接从数据中计算互依赖性，无需密度估计或数值积分，相较于皮尔逊相关系数和距离相关性，在各种非线性关系和边缘分布下实现了更快的收敛速度、更低的偏差和更优的计算效率。

ABSTRACT

In data science, it is often required to estimate dependencies between different data sources. These dependencies are typically calculated using Pearson's correlation, distance correlation, and/or mutual information. However, none of these measures satisfy all the Granger's axioms for an "ideal measure". One such ideal measure, proposed by Granger himself, calculates the Bhattacharyya distance between the joint probability density function (pdf) and the product of marginal pdfs. We call this measure the mutual dependence. However, to date this measure has not been directly computable from data. In this paper, we use our recently introduced maximum likelihood non-parametric estimator for band-limited pdfs, to compute the mutual dependence directly from the data. We construct the estimator of mutual dependence and compare its performance to standard measures (Pearson's and distance correlation) for different known pdfs by computing convergence rates, computational complexity, and the ability to capture nonlinear dependencies. Our mutual dependence estimator requires fewer samples to converge to theoretical values, is faster to compute, and captures more complex dependencies than standard measures.

研究动机与目标

• 开发一种计算高效且准确的互依赖性估计器，该度量是满足格兰杰公理的理想依赖度量。
• 克服现有度量的局限性，如皮尔逊相关系数（在非线性关系下失效）和距离相关系数（计算缓慢，且在单调变换下不具有不变性）。
• 通过避免非参数密度估计和数值积分，实现从数据中直接计算互依赖性。
• 在各种非线性和非正态分布的数据分布下，展示其相较于标准依赖度量具有更优的收敛速率和计算效率。

提出的方法

• 提出一种新的依赖度量——互依赖性 $d$，定义为联合概率密度函数与边缘概率密度函数乘积之间的巴氏距离。
• 采用带限最大似然（BLML）估计器，在已知截止频率 $f_c$ 的条件下非参数地估计概率密度函数，确保平滑性和一致性。
• 基于BLML估计推导出互依赖性的解析表达式，从而无需对联合和边缘概率密度函数进行数值积分。
• 以 $\mathcal{O}(B^2 + n)$ 的复杂度直接从数据中计算互依赖性估计器 $\hat{d}$，其中 $B \leq n$ 为非空箱数。
• 使用蒙特卡洛模拟，在不同非线性关系和生成概率密度函数下，比较 $\hat{r}$、$\hat{R}$ 和 $\hat{d}$ 的收敛性、偏差、方差和计算时间。
• 在模拟中设定BLML估计器的截止频率 $f_c = \frac{1}{1 - \rho^2}$，以确保底层概率密度结构的准确表示。

实验结果

研究问题

• RQ1 能否在不进行非参数密度估计或数值积分的情况下，直接从数据中计算互依赖性？
• RQ2 所提出的互依赖性估计器在不同类型的非线性依赖关系下，其收敛速度与皮尔逊相关系数和距离相关系数相比如何？
• RQ3 互依赖性估计器在各种边缘分布和非线性函数形式下是否保持低偏差和低方差？
• RQ4 所提估计器的计算复杂度是多少？与距离相关系数的 $\mathcal{O}(n^2)$ 复杂度相比如何？
• RQ5 互依赖性估计器的性能对BLML框架中截止频率选择的敏感性如何？

主要发现

• 在所有测试的非线性关系中，包括线性、二次、三次和正弦关系，互依赖性估计器 $\hat{d}$ 的收敛速度均快于 $\hat{r}$ 和 $\hat{R}$。
• 对于非线性数据，$\hat{r}$ 和 $\hat{R}$ 均表现出更高的偏差和方差，而 $\hat{d}$ 在所有非线性关系和边缘分布下均保持一致的低偏差和低方差。
• 对于所有数据类型，$\hat{d}$ 的综合均方误差（IMSE）随样本量增加而持续下降；而 $\hat{R}$ 的 IMSE 在三次和带限数据中并未减少，原因是其方差不减小。
• 估计器 $\hat{d}$ 的计算复杂度为 $\mathcal{O}(B^2 + n)$，远快于 $\mathcal{O}(n^2)$ 的 $\hat{R}$，尤其在 $B \ll n$ 的密集数据场景下优势显著。
• 在所有样本量下，$\hat{d}$ 的 IMSE 均低于 $\hat{r}$ 和 $\hat{R}$，表明其估计精度和一致性更优。
• 该估计器在严格单调变换下保持不变，满足理想依赖度量的关键公理，且尽管存在理论缺陷，其表现仍优于 $\hat{R}$。