[论文解读] Pearson's correlation coefficient in the theory of networks: A comment

Zafar Ahmed, Sachin Kumar|arXiv (Cornell University)|Mar 16, 2018

Complex Network Analysis Techniques参考文献 1被引用 3

一句话总结

本文批判了网络理论中非标准皮尔逊相关系数公式的使用，证明了文献[3]中广泛使用的公式在衡量度-度相关性时在数学上不一致。研究表明，尽管传统公式（式3）能正确得出完美线性关系时r = 1，但另一种形式（式4）在k_i = 2j_i + 1的情况下会产生错误结果（如r = 13/77而非1），从而破坏其在无向网络中的有效性。

ABSTRACT

In statistics, the Pearson correlation coefficient $r_{x,y}$ determines the degree of linear correlation between two variables and it is known that $-1 \le r_{x,y} \le 1$. In the theory of networks, a curious expression proposed in [PRL {\bf 89} 208701 (2002)] for degree-degree correlation coefficient $r_{j_i,k_i}, i\in [1,M]$ has been in use. We realize that the suggested form is the conventional Pearson's coefficient for $\{(j_i,k_i), (k_i,j_i)\}$ for $2M$ data points and hence it is rightly dedicated to undirected networks.

研究动机与目标

• 识别并纠正网络理论中用于度-度相关性的皮尔逊相关系数的错误公式。
• 证明文献[3]中广泛引用的公式在完美依赖情况下无法正确表示线性相关性。
• 使用标准统计方法阐明有向网络与无向网络在度相关性公式上的区别。
• 解决常规皮尔逊公式与先前文献中使用的非标准形式之间的明显矛盾。

提出的方法

• 使用协方差和标准差的标准统计定义推导常规皮尔逊相关系数r_{x,y}。
• 将常规公式（式3）应用于网络中M条边上的度-度对(j_i, k_i)。
• 将文献[3]中的非标准公式（式4）用均值和方差重新表达，以揭示其统计上的不一致性。
• 通过已知函数关系（如k_i = 2j_i + 1，k_i = j_i^2）比较式(3)与式(4)的行为，暴露其差异。
• 将式(4)重新解释为在无向网络中对2M个数据点{(j_i, k_i), (k_i, j_i)}应用常规皮尔逊相关系数的结果。
• 识别并纠正一个导致r > 1的错误变体（式6），该结果违反了相关系数的基本取值范围。

实验结果

研究问题

• RQ1 为何在文献[3]中，对于完美线性关系k_i = 2j_i + 1，相关系数会得出r = 13/77而非1？
• RQ2 非标准相关公式（式4）在数学上与常规皮尔逊相关系数有何不同？
• RQ3 无向网络中度-度相关系数的正确统计解释是什么？
• RQ4 为何变体公式（式6）会产生r > 1？这如何违反相关系数的理论取值范围？
• RQ5 在何种条件下，常规皮尔逊公式（式3）有效，而组合数据公式（式4）适用？

主要发现

• 当k_i = 2j_i + 1且M = 9时，常规公式（式3）正确得出r = 1，而非标准形式（式4）给出r = 13/77 ≈ 0.169。
• 当k_i = j_i^2时，常规公式（式3）得出r = √(1500/1577) ≈ 0.975，但式(4)却给出负值r = -125/598 ≈ -0.209，表明其相关性估计错误。
• 式(6)中的变体公式因代数简化导致r ≥ 1，违反了相关系数理论上的取值范围[-1, 1]。
• 非标准公式（式4）在数学上等价于在无向网络的2M个数据点{(j_i, k_i), (k_i, j_i)}上应用常规皮尔逊相关系数。
• 无向网络的正确公式应为常规皮尔逊相关系数（式3），而非非标准形式（式4），后者会导致错误结果。
• 本文通过证明式(4)并非有效替代形式，而是对网络相关性分析中统计原理的误用，解决了这一混淆。