[论文解读] Pearson Distance is not a Distance

Victor Solo|arXiv (Cornell University)|Aug 15, 2019

Bayesian Methods and Mixture Models参考文献 10被引用 14

一句话总结

本文证明，广泛使用的皮尔逊距离 $1 - \rho_{xy}$ 并非度量，因其违反三角不等式，从而削弱了其在聚类应用中的有效性。本文证明 $\sqrt{1 - \rho_{xy}}$ 是度量，并进一步表明 $\sqrt{1 - \rho_{xy}^2}$ 也是度量，而 $1 - |\rho_{xy}|$ 不是，为鲁棒的统计聚类提供了修正的替代方案。

ABSTRACT

The Pearson distance between a pair of random variables $X,Y$ with correlation $ρ_{xy}$, namely, 1-$ρ_{xy}$, has gained widespread use, particularly for clustering, in areas such as gene expression analysis, brain imaging and cyber security. In all these applications it is implicitly assumed/required that the distance measures be metrics, thus satisfying the triangle inequality. We show however, that Pearson distance is not a metric. We go on to show that this can be repaired by recalling the result, (well known in other literature) that $\sqrt{1-ρ_{xy}}$ is a metric. We similarly show that a related measure of interest, $1-|ρ_{xy}|$, which is invariant to the sign of $ρ_{xy}$, is not a metric but that $\sqrt{1-ρ_{xy}^2}$ is. We also give generalizations of these results.

研究动机与目标

• 确立皮尔逊距离 $1 - \rho_{xy}$ 虽在聚类应用中被广泛使用，但并非度量。
• 证明 $\sqrt{1 - \rho_{xy}}$ 是有效度量，纠正皮尔逊距离的错误使用。
• 分析符号不变变体 $1 - |\rho_{xy}|$，并证明其违反三角不等式。
• 证明 $\sqrt{1 - \rho_{xy}^2}$ 是度量，为基于相关性的相异度提供稳健替代方案。
• 利用保持度量的函数和正半定相似度矩阵，为更广泛的应用提供理论基础。

提出的方法

• 使用零均值、单位方差的随机变量构造初等反例，以违反 $1 - \rho_{xy}$ 和 $1 - |\rho_{xy}|$ 的三角不等式。
• 利用恒等式 $\sqrt{E[(X-Y)^2]} \leq \sqrt{E[(X-Z)^2]} + \sqrt{E[(Z-Y)^2]}$，证明 $\sqrt{1 - \rho_{xy}}$ 满足三角不等式。
• 通过构造具有相关性 $\rho_{ij}^2$ 的独立随机向量 $X_k, Y_k$，证明 $\sqrt{1 - \rho_{xy}^2}$ 是度量。
• 应用保持度量函数的结果：严格凸函数（如 $x^2$）无法保持度量，而凹、递增函数（如 $\sqrt{x}$）可以。
• 应用 Gower 和 Legendre（1986）的结果：若相似度矩阵 $[s_{ij}]$ 为正半定，则 $\sqrt{1 - s_{ij}}$ 是度量。
• 分析函数 $g(d) = 1 - \sqrt{1 - d^2}$ 的二阶导数，证明其严格凸性，从而确认 $1 - |\rho_{xy}|$ 无法成为度量。

实验结果

研究问题

• RQ1 皮尔逊距离 $1 - \rho_{xy}$ 是否适用于聚类应用的度量？
• RQ2 变换 $\sqrt{1 - \rho_{xy}}$ 是否满足三角不等式，因而可被视为度量？
• RQ3 符号不变的相异度 $1 - |\rho_{xy}|$ 是否为度量？若否，何种修改可恢复其度量性质？
• RQ4 $\sqrt{1 - \rho_{xy}^2}$ 是否满足三角不等式，并可作为基于相关性的相异度的稳健替代方案？
• RQ5 从保持度量的函数中得出的一般原则，能否解释为何某些相关性距离的变换能保持或无法保持度量性质？

主要发现

• 皮尔逊距离 $1 - \rho_{xy}$ 违反三角不等式，因此并非度量，通过 $\theta \in [0, \pi/4]$ 的显式反例得以证明。
• 变换后的距离 $\sqrt{1 - \rho_{xy}}$ 满足三角不等式，通过零均值、单位方差随机变量的平方差三角不等式，被证明为度量。
• 符号不变的相异度 $1 - |\rho_{xy}|$ 违反三角不等式，反例出现在 $\theta \in [\pi/6, \pi/4]$，表明其存在严重结构缺陷。
• $\sqrt{1 - \rho_{xy}^2}$ 是度量，通过构造具有相关性 $\rho_{ij}^2$ 的独立随机向量，并应用 Gower 和 Legendre 的结果得以证明。
• 函数 $g(d) = 1 - \sqrt{1 - d^2}$ 严格凸，确认 $1 - |\rho_{xy}|$ 无法成为度量，因为凸变换无法保持度量性质。
• 将函数 $f(x) = \sqrt{x}$ 应用于 $\sqrt{1 - \rho_{xy}}$ 得到 $ (1 - \rho_{xy})^{1/4} $，由于 $f$ 的凹性与单调性，该结果为有效度量。