[论文解读] Optimal hypothesis testing for stochastic block models with growing degrees

Debapratim Banerjee, Zongming Ma|arXiv (Cornell University)|May 15, 2017

Random Matrices and Applications参考文献 48被引用 34

一句话总结

本文针对度数随网络规模增长的随机块模型（SBMs），通过切比雪夫多项式的线性谱统计量，构建了在连续渐近情形下达到最优渐近功效的最优假设检验。研究建立了谱统计量的中心极限定理，并提出了计算高效、数据驱动的检验方法，即使在多区块SBMs中也能保持高功效。

ABSTRACT

The present paper considers testing an Erdos--Renyi random graph model against a stochastic block model in the asymptotic regime where the average degree of the graph grows with the graph size n. Our primary interest lies in those cases in which the signal-to-noise ratio is at a constant level. Focusing on symmetric two block alternatives, we first derive joint central limit theorems for linear spectral statistics of power functions for properly rescaled graph adjacency matrices under both the null and local alternative hypotheses. The powers in the linear spectral statistics are allowed to grow to infinity together with the graph size. In addition, we show that linear spectral statistics of Chebyshev polynomials are closely connected to signed cycles of growing lengths that determine the asymptotic likelihood ratio test for the hypothesis testing problem of interest. This enables us to construct a sequence of test statistics that achieves the exact optimal asymptotic power within $O(n^3 \log n)$ time complexity in the contiguous regime when $n^2 p_{n,av}^3 o\infty$ where $p_{n,av}$ is the average connection probability. We further propose a class of adaptive tests that are computationally tractable and completely data-driven. They achieve nontrivial powers in the contiguous regime and consistency in the singular regime whenever $n p_{n,av} o\infty$. These tests remain powerful when the alternative becomes a more general stochastic block model with more than two blocks.

研究动机与目标

• 解决在平均度数随网络规模增长时，对 Erdős–Rényi 随机图模型与对称两区块随机块模型进行假设检验的根本问题。
• 在原假设与局部备则假设下，推导幂函数与切比雪夫多项式线性谱统计量的联合中心极限定理。
• 构建一个在 $ n^2 p_{n, ext{av}}^3 \to \infty $ 的连续渐近框架下实现精确最优渐近功效的检验统计量。
• 提出自适应、数据驱动的检验方法，计算上可行，并在连续渐近框架下实现非平凡功效，在奇异渐近框架下保持一致性。
• 将该框架扩展至多区块随机块模型，同时保持检验功效与计算可行性。

提出的方法

• 在原假设与局部备则假设下，推导对适当缩放邻接矩阵应用幂函数的线性谱统计量的联合中心极限定理。
• 建立切比雪夫多项式线性谱统计量与长度递增的带符号圈之间的联系，这些带符号圈是渐近似然比检验的关键。
• 基于切比雪夫多项式谱统计量构造检验统计量，在 $ O(n^3 \log n) $ 时间复杂度内实现最优渐近功效。
• 提出一类无需预先知道模型参数、完全基于数据的自适应检验方法。
• 利用切比雪夫多项式的正交性及其与 $[-2,2]$ 上谱测度的关系，推导渐近分析所需的关键恒等式。
• 应用矩方法与迹展开技术，分析原假设与备则模型下谱统计量的渐近行为。

实验结果

研究问题

• RQ1 当平均度数随 $ n $ 增长时，对 Erdős–Rényi 模型与对称两区块随机块模型进行检验，其最优渐近功效为何？
• RQ2 在原假设与局部备则假设下，幂函数与切比雪夫多项式线性谱统计量的渐近行为如何？
• RQ3 基于切比雪夫多项式谱统计量的检验能否在连续渐近框架下实现精确最优渐近功效？
• RQ4 此类最优检验的构造计算复杂度为何？能否实现高效且数据驱动？
• RQ5 所提出的框架如何推广至具有多于两个区块的随机块模型？

主要发现

• 本文在原假设与局部备则假设下，建立了幂函数与切比雪夫多项式线性谱统计量的联合中心极限定理。
• 证明了切比雪夫多项式线性谱统计量在渐近意义上等价于长度递增的带符号圈，后者是似然比检验的核心。
• 基于切比雪夫多项式谱统计量的检验统计量在连续渐近框架 $ n^2 p_{n, ext{av}}^3 \to \infty $ 下实现了精确最优渐近功效，时间复杂度为 $ O(n^3 \log n) $。
• 提出了计算上可行、完全数据驱动的自适应检验方法，在连续渐近框架下实现非平凡功效，在奇异渐近框架下保持一致性，条件为 $ np_{n, ext{av}} \to \infty $。
• 该框架可推广至多区块随机块模型，所提检验在区块数超过两个时仍保持强大功效。
• 分析确认 $ \frac{2(\kappa-1)}{\kappa} > 1 $ 对 $ \kappa \geq 3 $ 成立，这支持了圈计数的指数增长，从而支撑了检验的功效。