[论文解读] On Mixed Memberships and Symmetric Nonnegative Matrix Factorizations

Xueyu Mao, Purnamrita Sarkar+1 more|arXiv (Cornell University)|Jul 1, 2016

Complex Network Analysis Techniques参考文献 26被引用 10

一句话总结

本文提出GeoNMF，一种通过将基于模型的混合成员随机块模型（MMSB）与对称非负矩阵分解（SNMF）相结合，实现网络中混合成员社区检测的可证明一致算法。它建立了在MMSB下对称NMF解唯一的充分条件，并证明了GeoNMF在广泛参数范围内以高概率实现节点成员身份和社区交互矩阵的最优、一致恢复，该方法在合成网络和真实网络上均得到验证。

ABSTRACT

The problem of finding overlapping communities in networks has gained much attention recently. Optimization-based approaches use non-negative matrix factorization (NMF) or variants, but the global optimum cannot be provably attained in general. Model-based approaches, such as the popular mixed-membership stochastic blockmodel or MMSB (Airoldi et al., 2008), use parameters for each node to specify the overlapping communities, but standard inference techniques cannot guarantee consistency. We link the two approaches, by (a) establishing sufficient conditions for the symmetric NMF optimization to have a unique solution under MMSB, and (b) proposing a computationally efficient algorithm called GeoNMF that is provably optimal and hence consistent for a broad parameter regime. We demonstrate its accuracy on both simulated and real-world datasets.

研究动机与目标

• 将基于模型的MMSB与基于优化的SNMF相结合，用于重叠社区检测。
• 建立对称NMF在MMSB下产生唯一解的充分条件。
• 开发一种计算高效的算法，可证明地恢复节点成员身份和社区交互关系。
• 在广泛参数范围内确保估计的一致性，避免依赖不可验证的假设。

提出的方法

• 提出GeoNMF，一种两阶段算法，结合谱聚类与非负矩阵分解，并采用几何初始化。
• 利用几何初始化通过邻接矩阵的低秩分解近似真实社区结构。
• 对估计的概率矩阵P应用对称非负矩阵分解（SNMF），确保非负性和对称性。
• 采用置换不变损失函数，将分解后的矩阵与真实节点成员矩阵对齐（允许社区排列）。
• 推导出节点成员向量和社区交互矩阵恢复的高概率误差界。
• 利用集中不等式和随机矩阵理论，在一般条件下（包括非i.i.d.节点成员身份）建立一致性。

实验结果

研究问题

• RQ1 在何种条件下，对称NMF能为MMSB模型提供唯一解？
• RQ2 是否存在一种计算高效的算法，可证明地恢复MMSB中节点成员身份和社区交互矩阵？
• RQ3 节点成员矩阵的估计误差如何随网络规模和社区结构变化？
• RQ4 一致性所需的假设是什么？与现有方法相比有何差异？
• RQ5 在高重叠和稀疏网络条件下，该算法能否保持准确性？

主要发现

• GeoNMF对节点成员矩阵的恢复误差界为 $ O_P\left(\frac{K^{5/2}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho}\right) $，相对误差为 $ O_P\left(\frac{K^{3}\sqrt{\log n}}{\beta_{\mathrm{min}}^{3}\rho\sqrt{n}}\right) $。
• 该算法在广泛参数范围内具有可证明的一致性，包括非i.i.d.节点成员身份和一般社区交互矩阵。
• 社区交互矩阵条目估计误差以高概率有界，确保了社区层面交互关系的可靠推断。
• GeoNMF在模拟网络和真实网络上均优于变分推理和谱方法，在准确性上表现更优。
• 该方法避免了对不可验证假设的依赖，如锚定节点或B矩阵对角线元素相等，这与先前的可证明方法不同。
• 理论分析证实，随着网络规模增大，算法收敛于真实参数，即使在高重叠和稀疏条件下亦成立。