[论文解读] Optimal Rates for Community Estimation in the Weighted Stochastic Block Model

Min Xu, Varun Jog+1 more|arXiv (Cornell University)|Jun 5, 2017

Complex Network Analysis Techniques参考文献 38被引用 9

一句话总结

该论文在加权随机块模型（WSBM）中建立了社区估计的最优速率，其中边权重由基于社区隶属关系的未知连续分布生成。论文提出了一种计算高效的全自适应算法，基于离散化方法，实现了信息论意义上的最优误聚类错误率，该速率由社区内与社区间边权重密度之间的1/2阶Rényi散度决定。

ABSTRACT

Community identification in a network is an important problem in fields such as social science, neuroscience, and genetics. Over the past decade, stochastic block models (SBMs) have emerged as a popular statistical framework for this problem. However, SBMs have an important limitation in that they are suited only for networks with unweighted edges; in various scientific applications, disregarding the edge weights may result in a loss of valuable information. We study a weighted generalization of the SBM, in which observations are collected in the form of a weighted adjacency matrix and the weight of each edge is generated independently from an unknown probability density determined by the community membership of its endpoints. We characterize the optimal rate of misclustering error of the weighted SBM in terms of the Renyi divergence of order 1/2 between the weight distributions of within-community and between-community edges, substantially generalizing existing results for unweighted SBMs. Furthermore, we present a computationally tractable algorithm based on discretization that achieves the optimal error rate. Our method is adaptive in the sense that the algorithm, without assuming knowledge of the weight densities, performs as well as the best algorithm that knows the weight densities.

研究动机与目标

• 表征加权随机块模型（WSBM）中误聚类错误率的最优速率，其中边权重为连续分布，且基于社区隶属关系生成。
• 为WSBM中的社区估计开发一种计算上可行的算法，且无需预先知晓底层权重密度分布。
• 在WSBM框架下，为任意算法建立误聚类错误率的理论信息论下界。
• 通过证明最优速率由边概率和权重密度混合分布之间的1/2阶Rényi散度决定，推广先前针对无权SBM的结果。
• 证明所提出的算法具有自适应性——在无需实际掌握权重密度知识的情况下，其性能可媲美已知真实密度的最佳算法。

提出的方法

• 提出一种加权随机块模型，其中边权重独立地从两个未知的连续概率密度中抽取，分别对应社区内和社区间边。
• 利用排列等变算法和边概率与权重密度混合分布之间的1/2阶Rényi散度，推导出误聚类错误率的信息论下界。
• 提出一种基于离散化的算法，将边权重空间划分为若干区间（bin），并在所得离散邻接矩阵上应用谱聚类。
• 证明该算法的收敛速率与推导出的下界一致，从而证明其最优性。
• 采用1/2阶Rényi散度作为衡量社区内与社区间边权重分布之间分离程度的关键指标。
• 采用非参数技术处理任意未知密度，无需假设属于特定参数族，从而确保方法的广泛适用性。

实验结果

研究问题

• RQ1 在具有连续边权重的加权随机块模型中，误聚类错误率的根本极限（最优速率）是什么？
• RQ2 是否存在一种计算高效的算法，能够在不预先知晓底层权重密度分布的情况下，达到该最优速率？
• RQ3 加权SBM中的最优速率如何推广已知的无权SBM结果？后者仅依赖于边概率差异。
• RQ4 1/2阶Rényi散度在刻画WSBM中社区内与社区间边权重分布之间分离程度方面起什么作用？
• RQ5 是否可能设计一种自适应算法，其性能可媲美已知真实权重密度的最佳算法，而无需实际掌握这些密度信息？

主要发现

• 加权随机块模型中误聚类错误率的最优速率由社区内与社区间边的边概率和权重密度混合分布之间的1/2阶Rényi散度决定。
• 所提出的基于离散化的算法实现了最优错误率，且完全自适应，即其性能可媲美已知真实权重密度的最佳算法。
• 信息论下界适用于所有排列等变算法，并适用于整个参数空间，而不仅限于极小化最大误差（minimax）情形。
• 最优速率推广了先前针对无权SBM的结果：在无权SBM中，最优速率仅依赖于两个伯努利分布之间的1/2阶Rényi散度。
• 分析表明，即使在均值无分离的情况下，权重分布的方差、形状或高阶矩的差异也可被利用以提升社区检测性能。
• 理论边界通过Rényi散度和对数不等式推导得出，借助引理H.1和H.2对近似误差进行了严格控制，从而确保了速率的最优性。