[论文解读] Two samples test for discrete power-law distributions

Alessandro Bessi|arXiv (Cornell University)|Mar 2, 2015

Complex Network Analysis Techniques参考文献 7被引用 9

一句话总结

该论文提出了一种基于对数似然比的统计检验方法，用于判断两个离散样本是否来自相同的幂律分布，解决了科尔莫戈罗夫-斯米尔诺夫检验在离散情形下的局限性。在原假设下，该检验的检验量服从自由度为1的卡方分布，从而能够可靠地推断尺度参数是否相等。

ABSTRACT

Power-law distributions occur in wide variety of physical, biological, and social phenomena. In this paper, we propose a statistical hypothesis test based on the log-likelihood ratio to assess whether two samples of discrete data are drawn from the same power-law distribution.

研究动机与目标

• 解决科尔莫戈罗夫-斯米尔诺夫检验在处理离散幂律分布时因重复值和近似p值而导致的不足。
• 为离散幂律数据开发一种专门的正式统计假设检验。
• 使两个样本的比较成为可能，以评估其是否源自相同的潜在幂律分布。
• 提供一种通过最大似然法估计尺度参数并检验这些参数相等性的方法。

提出的方法

• 基于合并样本（原假设）与独立样本（备择假设）的对数似然构建似然比检验。
• 使用近似公式 $\hat{\alpha} \simeq 1 + n \left[ \sum_{i=1}^{n} \ln \frac{x_i}{x_{\text{min}} - \frac{1}{2}} \right]^{-1} $，对离散幂律分布中的尺度参数α使用最大似然估计（MLE）。
• 计算检验统计量 $\Lambda = -2 \times l(H_0|s_1 \cup s_2) + 2 \times (l(H_1|s_1) + l(H_1|s_2))$，该统计量在原假设下渐近服从 $\chi^2(1)$ 分布。
• 使用广义黎曼ζ函数 $\zeta(\alpha, x_{\text{min}}) = \sum_{n=0}^{\infty} (n + x_{\text{min}})^{-\alpha}$ 定义离散幂律的概率质量函数。
• 应用互补累积分布函数 $P(x) = \frac{\zeta(\alpha, x)}{\zeta(\alpha, x_{\text{min}})}$ 进行尾部行为的可视化与分析评估。
• 通过两个具有已知真实情况的模拟示例验证该检验：一个示例中样本来自同一分布，另一个示例中样本来自不同分布。

实验结果

研究问题

• RQ1 能否通过统计检验可靠地比较两个离散样本，以判断其是否来自相同的幂律分布？
• RQ2 所提出的对数似然比检验在区分来自相同与不同幂律分布的样本时表现如何？
• RQ3 在尺度参数相等的原假设下，该检验统计量的渐近分布是什么？
• RQ4 与科尔莫戈罗夫-斯米尔诺夫检验相比，该检验在离散数据上的有效性与准确性如何？
• RQ5 当样本从具有不同α值的幂律分布生成时，该检验在检测尺度参数差异方面的实际表现如何？

主要发现

• 在示例1中，从α = 2的幂律分布中抽取了两个大小为 $10^5$ 的样本，检验结果为 $\Lambda = 0.0065$，p值为0.936，因此未能拒绝原假设。
• 在示例2中，样本分别来自α₁ = 2和α₂ = 2.05的幂律分布，检验结果为 $\Lambda = 149.49$，p值小于 $10^{-3}$，因此拒绝了原假设。
• 在第一个示例中，估计的尺度参数为 $\hat{\alpha}_{s_1} = 1.997852$ 和 $\hat{\alpha}_{s_2} = 1.99816$，表明与真实α = 2非常接近。
• 在第二个示例中，估计的尺度参数为 $\hat{\alpha}_{s_1} = 2.003242$ 和 $\hat{\alpha}_{s_2} = 2.051032$，显示出可检测到的差异。
• 在原假设下，检验统计量 $\Lambda$ 渐近服从 $\chi^2(1)$ 分布，验证了其用于显著性检验的适用性。
• 该方法即使在中等样本量下也能有效检测尺度参数的差异，在第二个示例中表现出很高的统计功效。