[论文解读] Orthogonal symmetric non-negative matrix factorization under the stochastic block model

Subhadeep Paul, Yuguo Chen|arXiv (Cornell University)|May 17, 2016

Complex Network Analysis Techniques参考文献 43被引用 10

一句话总结

本文提出了一种对归一化拉普拉斯矩阵进行正交对称非负矩阵三因子分解（OSNTF）的方法，用于网络中的社区检测。通过优化近似并将其与不变子空间关联，该方法在随机块模型下实现了理论一致性，并在稀疏、异质性以及政治博客和空手道俱乐部等基准网络中优于谱聚类和当前最先进方法。

ABSTRACT

We present a method based on the orthogonal symmetric non-negative matrix tri-factorization of the normalized Laplacian matrix for community detection in complex networks. While the exact factorization of a given order may not exist and is NP hard to compute, we obtain an approximate factorization by solving an optimization problem. We establish the connection of the factors obtained through the factorization to a non-negative basis of an invariant subspace of the estimated matrix, drawing parallel with the spectral clustering. Using such factorization for clustering in networks is motivated by analyzing a block-diagonal Laplacian matrix with the blocks representing the connected components of a graph. The method is shown to be consistent for community detection in graphs generated from the stochastic block model and the degree corrected stochastic block model. Simulation results and real data analysis show the effectiveness of these methods under a wide variety of situations, including sparse and highly heterogeneous graphs where the usual spectral clustering is known to fail. Our method also performs better than the state of the art in popular benchmark network datasets, e.g., the political web blogs and the karate club data.

研究动机与目标

• 开发一种适用于复杂网络的鲁棒社区检测方法，使其在稀疏性和异质性条件下依然有效。
• 在随机块模型（SBM）和度数校正随机块模型（DCSBM）下建立该方法的理论一致性。
• 通过利用非负矩阵分解，克服谱聚类在稀疏和异质图中的局限性。
• 为网络分析中的现有聚类方法提供一种理论基础坚实、可解释性强且计算上可行的替代方案。

提出的方法

• 该方法将正交对称非负矩阵三因子分解（OSNTF）应用于归一化图拉普拉斯矩阵。
• 通过构建优化问题，计算拉普拉斯矩阵的近似因子分解，最小化Frobenius范数，同时满足非负性和正交性约束。
• 该因子分解与拉普拉斯矩阵的一个非负不变子空间基相关联，与谱聚类具有类比关系。
• 利用扰动理论（Davis-Kahan定理）来界定估计子空间因子与真实子空间因子之间的差异。
• 通过将因子分解误差与拉普拉斯矩阵的谱间隙关联，建立理论一致性。
• 通过模拟研究和基准网络的真实数据分析验证该方法。

实验结果

研究问题

• RQ1 在随机块模型下，对归一化拉普拉斯矩阵进行OSNTF能否实现一致的社区检测？
• RQ2 在稀疏和异质性网络中，与谱聚类相比，该方法表现如何？
• RQ3 当谱聚类失效时，非负因子分解框架能否恢复真实的社区结构？
• RQ4 因子分解组件与拉普拉斯矩阵的不变子空间之间存在何种理论关系？
• RQ5 该方法在真实世界网络数据集上是否优于当前最先进算法？

主要发现

• 该方法在随机块模型（SBM）和度数校正随机块模型（DCSBM）下均实现了社区检测的理论一致性。
• 在谱聚类已知失效的稀疏和高度异质图中，该方法优于标准谱聚类。
• 在政治博客网络和空手道俱乐部网络等基准数据集上，该方法的聚类准确率优于当前最先进算法。
• 扰动分析表明，因子分解误差受谱间隙倒数的有界约束，从而确保了社区结构的稳定恢复。
• 估计因子矩阵与真实因子矩阵之间Frobenius范数的差值，受拉普拉斯矩阵最小非零特征值平方的倒数项有界。
• 即使邻接矩阵稀疏或度分布高度异质，该方法仍能成功识别社区结构。