[论文解读] Practical methods for graph two-sample testing

Debarghya Ghoshdastidar, Ulrike von Luxburg|arXiv (Cornell University)|Nov 30, 2018

Statistical Methods in Clinical Trials被引用 24

一句话总结

该论文提出了两种基于渐近分布的新图两样本检验方法——Asymp-Normal 和 Asymp-TW，用于检测大规模图群体之间的差异，尤其在样本量较小（m=1 或 m>1）的情况下。这些方法计算效率高，且比自助法替代方案更可靠，在真实网络（如俄勒冈路由器数据集）的半合成实验中表现出更高的检验效能，随着图扰动的增加，p 值呈指数下降。

ABSTRACT

Hypothesis testing for graphs has been an important tool in applied research fields for more than two decades, and still remains a challenging problem as one often needs to draw inference from few replicates of large graphs. Recent studies in statistics and learning theory have provided some theoretical insights about such high-dimensional graph testing problems, but the practicality of the developed theoretical methods remains an open question. In this paper, we consider the problem of two-sample testing of large graphs. We demonstrate the practical merits and limitations of existing theoretical tests and their bootstrapped variants. We also propose two new tests based on asymptotic distributions. We show that these tests are computationally less expensive and, in some cases, more reliable than the existing methods.

研究动机与目标

• 解决在仅有少量大规模图可用时的图两样本检验挑战，特别是在高维设置下样本重复较少的情形。
• 开发计算高效的现有自助法检验的替代方案，以应对小样本情形下自助法速度慢且不可靠的问题。
• 在检测大规模图群体之间差异方面，提升统计可靠性与效能，尤其在神经影像学和分子网络中。
• 通过提供 Matlab 实现，使理论图检验方法更易于被应用研究人员使用。

提出的方法

• 提出 Asymp-Normal，一种基于原假设下图统计量渐近正态分布的检验方法，适用于 m>1 个样本。
• 提出 Asymp-TW，一种基于原假设下检验统计量渐近分布的检验方法，适用于 m=1 的情形，依赖于社区结构。
• 在大规模稀疏网络中，使用谱聚类和 BigClam 进行社区检测，以支持 Asymp-TW 中的近似计算。
• 应用渐近理论推导 p 值，无需重采样，相比自助法显著降低计算成本。
• 采用边数和子图数等图统计量作为检验统计量，并在模型假设下提供理论依据。
• 通过在真实网络数据（包括俄勒冈路由器数据集）上进行受控扰动的半合成实验，验证了方法的有效性。

实验结果

研究问题

• RQ1 能否利用渐近原假设分布，在小样本情形（m=1 或 m>1）下构建可靠且快速的图两样本检验？
• RQ2 在高维图检验中，渐近检验与自助法变体相比，在检验效能和可靠性方面表现如何？
• RQ3 当应用于无顶点对应关系的真实世界稀疏大规模网络时，渐近检验的性能如何？
• RQ4 像 BigClam 这样的社区检测方法能否有效集成到大规模网络的渐近图检验中？
• RQ5 随着图扰动的增加，p 值如何变化？它们是否能真实反映统计显著性？

主要发现

• Asymp-Normal 显示，当植入的 Erdős-Rényi 子图边密度从 0.2 增加到 0.4 时，p 值呈线性下降（-ln(p-value) 指数上升），表明具有强大的检测能力。
• 对于平均度恒定的稀疏植入图，-ln(p-value) 随子图大小呈略微超线性增长，证实对结构变化的敏感性。
• Asymp-TW 能有效检测边扰动：-ln(p-value) 随切换边数（最多 300 条）迅速增加，即使扰动仅占总可能边数的一小部分。
• 俄勒冈-2 网络比俄勒冈-1 网络更密集，因此测试统计量略低，表明对基础网络结构的敏感性。
• 使用 BigClam 进行社区检测，使 Asymp-TW 在大规模稀疏网络中得以可靠应用，验证了其实际可行性。
• 总体而言，所提出的渐近检验在计算效率和可靠性方面均优于自助法，尤其在低样本情形下表现更优。