[论文解读] Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel

Tai Qin, Karl Rohe|arXiv (Cornell University)|Sep 16, 2013

Advanced Clustering Algorithms Research参考文献 12被引用 100

一句话总结

本文在度校正随机块模型（DC-SBM）下提出正则化谱聚类（RSC），以改善节点度异质性显著的网络中的社区检测。通过引入度正则化参数 τ 并分析杠杆指数，RSC 在无需最小度假设的前提下实现了更高的聚类准确率，最优 τ 接近平均度，且在高杠杆节点上表现更优。

ABSTRACT

Spectral clustering is a fast and popular algorithm for finding clusters in networks. Recently, Chaudhuri et al. (2012) and Amini et al.(2012) proposed inspired variations on the algorithm that artificially inflate the node degrees for improved statistical performance. The current paper extends the previous statistical estimation results to the more canonical spectral clustering algorithm in a way that removes any assumption on the minimum degree and provides guidance on the choice of the tuning parameter. Moreover, our results show how the "star shape" in the eigenvectors--a common feature of empirical networks--can be explained by the Degree-Corrected Stochastic Blockmodel and the Extended Planted Partition model, two statistical models that allow for highly heterogeneous degrees. Throughout, the paper characterizes and justifies several of the variations of the spectral clustering algorithm in terms of these models.

研究动机与目标

• 改善高度异质度网络中谱聚类的性能，其中标准方法失效。
• 为谱聚类中的正则化提供理论依据，且无需最小节点度假设。
• 通过 DC-SBM 和扩展植株分区模型解释经验观察到的“星形”特征向量模式。
• 在实践中指导正则化参数 τ 的选择，建议 τ ≈ 平均度。
• 证明在度异质性下，行归一化（投影到单位球面）可能适得其反，具体取决于杠杆指数。

提出的方法

• 引入使用正则化图拉普拉斯矩阵 $ L_\tau = D_\tau^{-1/2} A D_\tau^{-1/2} $ 的正则化谱聚类（RSC），其中 $ D_\tau = D + \tau I $。
• 选取 $ L_\tau $ 的 $ K $ 个最大特征向量构成矩阵 $ X \in \mathbb{R}^{N \times K} $，然后将每行归一化为单位长度，形成 $ X^* $。
• 对 $ X^* $ 的行应用 k-means 聚类，将节点划分为 $ K $ 个互不相交的节点集合作为最终输出。
• 在允许度异质性且比标准 SBM 更准确模拟现实网络的 DC-SBM 框架下分析该方法。
• 引入杠杆指数作为关键诊断工具：杠杆指数较高的节点更易聚类，正则化可提升低杠杆节点的性能。
• 提供依赖于杠杆指数与正则化参数 τ 的误聚类误差理论界。

实验结果

研究问题

• RQ1 在度校正随机块模型下，谱聚类中的正则化如何提升性能？
• RQ2 正则化参数 τ 的最优选择是什么？其对聚类准确率有何影响？
• RQ3 为何在经验网络中常见“星形”特征向量模式？该模式如何在 DC-SBM 下产生？
• RQ4 在何种情况下，行归一化（投影到单位球面）对聚类性能有益或有害？
• RQ5 能否在不假设最小节点度的前提下，为谱聚类建立理论保证？

主要发现

• 在度异质性显著的网络中（β ≤ 3.5），RSC 显著降低误聚类率，尤其当 β < 3 时，优于标准谱聚类及其他变体。
• 当 β = 3.5（高度异质度）时，RSC 在博客网络中仅误聚类 (80 ± 2) 个节点（共 1222 个），而标准谱聚类误聚类 1144/1222 个节点。
• 对于高杠杆节点（按杠杆指数排名前 90%），RSC 的误聚类率为 44/1100，较整体误聚类率降低近 50%。
• 理论结果表明，正则化可提升性能而无需最小度假设，性能阈值由杠杆指数决定。
• 最优正则化参数 τ 接近平均度，可在特征向量估计中平衡偏差与方差。
• 在度异质性存在时，归一化步骤（将行投影到单位球面）可能掩盖聚类信号，尤其对低杠杆节点有害。