[论文解读] Recovering communities in the general stochastic block model without knowing the parameters

Emmanuel Abbé, Colin Sandon|arXiv (Cornell University)|Jun 11, 2015

Opinion Dynamics and Social Influence参考文献 35被引用 18

一句话总结

本文提出了首个在一般随机块模型（SBM）中实现高效、无偏的社区检测算法，无需事先了解模型参数或社区数量。该算法在常数度、发散度和对数度三种度分布情形下，均实现了信息论最优的局部恢复与完全恢复性能，采用新颖的自适应算法，同时学习参数并检测社区，计算复杂度接近线性，且精度极高。

ABSTRACT

Most recent developments on the stochastic block model (SBM) rely on the knowledge of the model parameters, or at least on the number of communities. This paper introduces efficient algorithms that do not require such knowledge and yet achieve the optimal information-theoretic tradeoffs identified in [AS15] for linear size communities. The results are three-fold: (i) in the constant degree regime, an algorithm is developed that requires only a lower-bound on the relative sizes of the communities and detects communities with an optimal accuracy scaling for large degrees; (ii) in the regime where degrees are scaled by $ω(1)$ (diverging degrees), this is enhanced into a fully agnostic algorithm that only takes the graph in question and simultaneously learns the model parameters (including the number of communities) and detects communities with accuracy $1-o(1)$, with an overall quasi-linear complexity; (iii) in the logarithmic degree regime, an agnostic algorithm is developed that learns the parameters and achieves the optimal CH-limit for exact recovery, in quasi-linear time. These provide the first algorithms affording efficiency, universality and information-theoretic optimality for strong and weak consistency in the general SBM with linear size communities.

研究动机与目标

• 开发适用于一般随机块模型（SBM）的高效社区检测算法，无需事先了解模型参数或社区数量。
• 在线性规模社区下，实现局部恢复与完全恢复情形下的信息论最优性能。
• 设计可同时学习模型参数（包括社区数量）并以完全无偏方式检测社区的算法。
• 在各类度分布下保持高精度的同时，确保计算复杂度接近线性。
• 弥合社区检测在模型不确定条件下的理论最优性与实际可部署性之间的差距。

提出的方法

• 提出Agnostic-sphere-comparison算法用于常数度情形下的局部恢复，结合度分布失真分析与参数不确定条件下的鲁棒分类。
• 采用Agnostic-degree-profiling算法实现发散度与对数度情形下的完全恢复，利用度分布检验与迭代优化。
• 采用两阶段图采样方法：将图划分为独立子图，以降低相关性影响并提升估计鲁棒性。
• 应用基于失真度的分类方法，利用度分布之间的总变差距离界定误分类概率。
• 引入鲁棒估计技术以应对参数不确定性，确保误差率随度数呈指数衰减。
• 利用集中不等式与度分布集中性，界定在未知参数条件下的误分类概率。

实验结果

研究问题

• RQ1 在一般SBM中，是否可在不预先知晓社区数量或模型参数的情况下实现社区检测？
• RQ2 在社区检测中，计算效率、参数无偏性与信息论最优性之间的根本权衡是什么？
• RQ3 在常数度、发散度与对数度三种度分布情形下，如何在无参数知识条件下实现最优的局部与完全恢复？
• RQ4 能否设计单一算法，同时学习模型参数并以高精度与接近线性复杂度检测社区？
• RQ5 在缺乏参数知识的条件下，可实现的最优精度是什么？该精度是否可达到已知参数情形下的理论极限？

主要发现

• 在常数度情形下，Agnostic-sphere-comparison算法以高概率实现最优精度量级，仅需社区大小的下界信息。
• 在发散度情形下，完全无偏算法实现精度1−o(1)的完全恢复，且运行时间接近线性，可同时学习社区数量与模型参数。
• 在对数度情形下，无偏算法实现了最优CH极限，与已知参数条件下的信息论阈值完全一致。
• 该算法在三种度分布情形下——常数度、ω(1)与对数度——均实现最优性能，且无需了解模型参数。
• 误分类概率以O(n^{-(1−γ)Δ/2 + o(1)})的速率衰减，其中Δ = min_{i≠j} D₊((PQ)_i, (PQ)_j)，确保大规模网络中的高精度。
• 无偏算法的整体复杂度为接近线性，使其在大规模网络中具备可扩展性与实用性。