[论文解读] Spectral clustering in the dynamic stochastic block model

Marianna Pensky, Teng Zhang|arXiv (Cornell University)|May 2, 2017

Complex Network Analysis Techniques参考文献 37被引用 5

一句话总结

该论文提出了一种针对动态随机块模型（DSBM）的谱聚类方法，通过核估计对边概率进行平滑处理，进而应用谱聚类实现节点聚类。该方法实现了非渐近误差界，并能自适应处理未知平滑度、切换速率及聚类数量。

ABSTRACT

In the present paper, we studied a Dynamic Stochastic Block Model (DSBM) under the assumptions that the connection probabilities, as functions of time, are smooth and that at most $s$ nodes can switch their class memberships between two consecutive time points. We estimate the edge probability tensor by a kernel-type procedure and extract the group memberships of the nodes by spectral clustering. The procedure is computationally viable, adaptive to the unknown smoothness of the functional connection probabilities, to the rate $s$ of membership switching and to the unknown number of clusters. In addition, it is accompanied by non-asymptotic guarantees for the precision of estimation and clustering.

研究动机与目标

• 为动态网络在动态随机块模型（DSBM）下的计算高效且自适应的谱聚类程序进行开发。
• 利用时间上的核平滑方法，对多个时间点的时变边概率进行估计。
• 在连接概率平滑度未知及节点在不同聚类间切换速率未知的情况下，恢复节点群组归属关系。
• 为聚类与估计精度提供非渐近理论保证。
• 处理未知聚类数量问题，并自适应未知稀疏性与网络动态中的平滑度。

提出的方法

• 通过时间上的核类型平滑程序估计边概率张量，利用时间连续性。
• 对平滑后的邻接矩阵应用谱聚类，以在每个时间点恢复节点群组归属。
• 采用核加权方案对时间邻域内的邻接矩阵进行平均，提升估计稳定性。
• 引入非渐近浓度不等式（如引理9）以限制谱聚类步骤中的估计误差。
• 通过数据驱动准则自适应选择带宽与聚类参数，以应对未知平滑度与切换速率。
• 采用联合界与尾概率界，确保所有节点的高概率聚类精度。

实验结果

研究问题

• RQ1 谱聚类能否被适配于DSBM，以在时变连接概率下实现准确的节点聚类？
• RQ2 如何利用连接概率中的时间平滑性来提升估计与聚类精度？
• RQ3 该方法在多大程度上能自适应未知平滑度、未知切换速率与未知聚类数量？
• RQ4 在DSBM中，聚类与估计程序的非渐近误差界可建立为何种形式？
• RQ5 当少数节点在时间点之间发生社区切换时，该方法是否仍能保持高聚类精度？

主要发现

• 所提方法实现了依赖于连接概率平滑度与切换速率 $ s $ 的非渐近聚类误差界。
• 谱聚类过程自适应于边概率函数的未知平滑度以及节点归属切换的未知速率 $ s $。
• 该方法提供了边概率张量估计误差的高概率界，误差在正则条件下以 $ O(\sqrt{\frac{\log n}{n}}) $ 速率衰减。
• 该方法对未知聚类数量具有鲁棒性，因为谱聚类步骤无需预先知晓 $ K $。
• 通过加权伯努利随机变量和的浓度不等式建立理论保证，尾部界涉及 $ \ln t $ 与 $ W_{\max} $。
• 在核带宽与网络规模满足适当条件时，该方法的聚类误差率可达到 $ O(n^{-\tau}) $，其中 $ \tau > 0 $ 任意。