[论文解读] Testing Degree Corrections in Stochastic Block Models

Rajarshi Mukherjee, Subhabrata Sen|arXiv (Cornell University)|May 22, 2017

Complex Network Analysis Techniques参考文献 10被引用 4

一句话总结

本文提出一种度数校正的随机块模型（DCSBM），以改善具有异质度分布的网络中的社区检测。通过推导临界阈值 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $，作者建立了在节点度数显著差异时，社区结构假设检验仍保持统计一致性的条件。其主要贡献是在度数异质性条件下，提供了可靠社区检测的理论保证。

ABSTRACT

We study sharp detection thresholds for degree corrections in Stochastic Block Models in the context of a goodness of fit problem, and explore the effect of the unknown community assignment (a high dimensional nuisance parameter) and the graph density on testing for degree corrections. When degree corrections are relatively dense, a simple test based on the total number of edges is asymptotically optimal. For sparse degree corrections, the results undergo several changes in behavior depending on density of the underlying Stochastic Block Model. For graphs which are not extremely sparse, optimal tests are based on Higher Criticism or Maximum Degree type tests based on a linear combination of within and across (estimated) community degrees. In the special case of balanced communities, a simple degree based Higher Criticism Test (Mukherjee, Mukherjee, Sen 2016) is optimal in case the graph is not completely dense, while the more complicated linear combination based procedure is required in the completely dense setting. The ``necessity" of the two step procedure is demonstrated for the case of balanced communities by the failure of the ordinary Maximum Degree Test in achieving sharp constants. Finally for extremely sparse graphs the optimal rates change, and a version of the maximum degree test with a different rejection region is shown to be optimal.

研究动机与目标

• 解决具有异质度分布的网络中社区检测的挑战。
• 开发一种考虑随机块模型中度数异质性的统计框架。
• 推导一个理论阈值 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $，以确保一致的社区检测。
• 验证在不同度模式和网络稀疏性下社区检测的鲁棒性。

提出的方法

• 作者定义了一个假设检验 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $，用于在度数校正下评估社区结构。
• 他们推导出一个临界阈值 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $，用以区分可检测与不可检测的社区结构。
• 该阈值分段定义：当 $ \alpha \in (1/2, 3/4) $ 时，其与 $ \alpha - 1/2 $ 呈线性关系；当 $ \alpha \geq 3/4 $ 时，其依赖于 $ (1 - \sqrt{1 - \alpha})^2 $。
• 该模型引入参数 $ \beta_1, \beta_2 $ 以表示与社区相关的边概率，以及参数 $ \alpha $ 以表示网络稀疏性。
• 该方法使用集合 $ S_k^\nu $ 和 $ \Xi(s_n, A_n) $ 上的上确界，以控制社区检测中的误差概率。
• 通过控制第一类和第二类错误，该分析建立了在度数校正模型下检验的一致性。

实验结果

研究问题

• RQ1 当节点度数高度异质时，社区检测在何种条件下仍保持一致？
• RQ2 临界阈值 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 如何随网络稀疏性 $ \alpha $ 和社区参数 $ \beta_1, \beta_2 $ 变化？
• RQ3 在高度异质度数下，度数校正能否防止社区检测中的假阳性？
• RQ4 度数校正的随机块模型中，可检测性的理论极限是什么？
• RQ5 与标准块模型相比，所提出的检验 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ 在误差控制方面表现如何？

主要发现

• 临界阈值 $ C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 决定了度数校正模型中可检测与不可检测社区结构的边界。
• 当 $ \alpha \in (1/2, 3/4) $ 时，该阈值随 $ \alpha - 1/2 $ 线性变化，表明在此区间内对稀疏性具有线性敏感性。
• 当 $ \alpha \geq 3/4 $ 时，该阈值遵循非线性形式 $ (1 - \sqrt{1 - \alpha})^2 $，反映出随着网络变稠密，可检测性收益递减。
• 当 $ C > C_{\mathrm{HC}}(\beta_1,\beta_2,\alpha) $ 时，所提出的检验 $ T_{\mathrm{HC}}(C, \beta_1, \beta_2) $ 实现了一致性，确保了可靠检测。
• 该方法在 $ \Theta \in \Xi(s_n, A_n) $ 上统一控制了第一类和第二类错误概率，保证了鲁棒性。
• 理论框架表明，度数校正使得即使节点度数显著偏离均值，也能实现一致的社区检测。