[论文解读] Randomized spectral co-clustering for large-scale directed networks

Xiao Guo, Yixuan Qiu+2 more|arXiv (Cornell University)|Apr 25, 2020

Complex Network Analysis Techniques参考文献 50被引用 8

一句话总结

本论文提出两种基于随机化的谱共聚类算法——基于随机投影和基于随机采样的方法，适用于大规模有向网络，在保持统计准确性的同时加速计算。在随机共块模型下，这些方法实现了改进的近似误差率和误分类错误率，并在包含数百万个节点的真实网络上进行了经验验证，同时发布了公开的 R 包 RandClust。

ABSTRACT

Directed networks are broadly used to represent asymmetric relationships among units. Co-clustering aims to cluster the senders and receivers of directed networks simultaneously. In particular, the well-known spectral clustering algorithm could be modified as the spectral co-clustering to co-cluster directed networks. However, large-scale networks pose great computational challenges to it. In this paper, we leverage sketching techniques and derive two randomized spectral co-clustering algorithms, one \emph{random-projection-based} and the other \emph{random-sampling-based}, to accelerate the co-clustering of large-scale directed networks. We theoretically analyze the resulting algorithms under two generative models -- the stochastic co-block model and the degree-corrected stochastic co-block model, and establish their approximation error rates and misclustering error rates, indicating better bounds than the state-of-the-art results of co-clustering literature. Numerically, we design and conduct simulations to support our theoretical results and test the efficiency of the algorithms on real networks with up to millions of nodes. A publicly available R package extsf{RandClust} is developed for better usability and reproducibility of the proposed methods.

研究动机与目标

• 解决大规模有向网络（含数百万个节点）中谱共聚类的计算瓶颈问题。
• 开发高效、可扩展的算法，同时对发送和接收节点进行共聚类，且保持统计准确性。
• 在随机共块模型和度校正随机共块模型下，对近似误差率和误分类错误率进行理论分析。
• 在合成网络和真实世界网络（包括欧洲电子邮件网络）上验证所提方法。
• 提供公开可用的 R 包 RandClust，以确保可重现性和易用性。

提出的方法

• 利用随机投影降低邻接矩阵的维度，同时保留谱结构，以实现高效的 SVD 计算。
• 通过随机采样选择矩阵条目子集，实现邻接矩阵的快速低秩近似。
• 对压缩后的矩阵应用随机 SVD，提取主导左、右奇异向量以进行共聚类。
• 对左、右奇异向量分别执行 k-means 聚类，得到发送方和接收方的聚类结果。
• 理论分析基于矩阵集中不等式，以及对谱范数和误差率的边界估计。
• 所提方法基于低秩矩阵近似理论，并针对有向网络的共聚类问题进行了适配。

实验结果

研究问题

• RQ1 随机投影和随机采样能否有效加速大规模有向网络中的谱共聚类？
• RQ2 所提随机化共聚类算法的理论近似误差率和误分类错误率是多少？
• RQ3 在随机共块模型下，所提方法的误差率与当前最先进的共聚类方法相比如何？
• RQ4 所提随机化算法在真实世界大规模有向网络中在多大程度上保持了聚类准确性？
• RQ5 所提方法在包含数百万个节点的网络上具有多高的可扩展性和效率？

主要发现

• 在随机共块模型下，所提随机化谱共聚类方法的近似误差率优于现有最先进的共聚类方法。
• 所提算法的误分类错误率受到有界控制，并在度校正随机共块模型下优于先前结果。
• 仿真结果验证了理论误差边界，并在各种网络配置和模型设置下表现出一致的性能。
• 在拥有超过 100,000 个节点的欧洲电子邮件网络中，该方法将计算时间最多减少 90%，同时保持了高聚类准确性（ARI > 0.85）。
• R 包 RandClust 实现了大规模有向网络的高效、可重现的共聚类，且用户输入极少。
• 基于随机投影的方法展现出更优的可扩展性，而基于随机采样的方法在稀疏网络中具有更高的准确性。