[论文解读] Streaming, Memory Limited Algorithms for Community Detection

Se-Young Yun, Lelarge, Marc+1 more|arXiv (Cornell University)|Nov 3, 2014

Complex Network Analysis Techniques参考文献 14被引用 6

一句话总结

本文提出了一种在大规模稀疏网络中使用随机块模型进行社区检测的流式、内存受限算法。它引入了一种离线算法，内存线性增长，以及一种在线算法，内存亚线性增长，通过按顺序处理邻接矩阵的列，利用一种新颖的谱算法实现部分信息恢复，从而实现渐近准确的聚类。

ABSTRACT

In this paper, we consider sparse networks consisting of a finite number of non-overlapping communities, i.e. disjoint clusters, so that there is higher density within clusters than across clusters. Both the intra- and inter-cluster edge densities vanish when the size of the graph grows large, making the cluster reconstruction problem nosier and hence difficult to solve. We are interested in scenarios where the network size is very large, so that the adjacency matrix of the graph is hard to manipulate and store. The data stream model in which columns of the adjacency matrix are revealed sequentially constitutes a natural framework in this setting. For this model, we develop two novel clustering algorithms that extract the clusters asymptotically accurately. The first algorithm is {\it offline}, as it needs to store and keep the assignments of nodes to clusters, and requires a memory that scales linearly with the network size. The second algorithm is {\it online}, as it may classify a node when the corresponding column is revealed and then discard this information. This algorithm requires a memory growing sub-linearly with the network size. To construct these efficient streaming memory-limited clustering algorithms, we first address the problem of clustering with partial information, where only a small proportion of the columns of the adjacency matrix is observed and develop, for this setting, a new spectral algorithm which is of independent interest.

研究动机与目标

• 解决在无法存储完整邻接矩阵的大规模网络中社区检测的挑战。
• 在严格内存限制下设计高效的流式算法，按顺序处理图的列。
• 设计一种在线算法，在分类后丢弃数据，仅需相对于网络规模亚线性的内存。
• 建立在部分或流式数据下仍能实现准确聚类的理论条件。
• 提供一种新颖的谱算法用于部分信息下的聚类，该算法在主应用之外也具有独立兴趣。

提出的方法

• 提出一种谱聚类算法，利用邻接矩阵列的子集（占总列数的γ比例）对观测到的节点进行分类。
• 引入基于块的处理策略，将列分批处理，每批通过谱聚类分析。
• 采用合并过程，利用块间连接计数将新块的聚类分配与先前识别的聚类合并。
• 使用幂法进行低秩SVD近似，以减少谱分解期间的内存使用。
• 对列应用随机子采样，以减少存储需求，同时保持聚类准确性。
• 设计一种在线变体，分类后丢弃数据，仅保留当前的聚类划分，并与先前结果合并。

实验结果

研究问题

• RQ1 在仅观察到邻接矩阵一部分的流式、内存受限设置下，能否实现准确的社区检测？
• RQ2 在这种流式设置下，渐近准确聚类的最小内存需求是多少？
• RQ3 有限列数（仅限子集列）的部分信息如何影响社区检测的可行性和准确性？
• RQ4 具有亚线性内存的在线算法能否在社区检测中实现渐近准确？
• RQ5 图密度和采样率的何种条件可确保在部分数据下谱聚类依然有效？

主要发现

• 当 h(n) = ω(log(n)/min{f(n), n^{1/3}}) 且 T = ω(n/min{f(n), n^{1/3}}) 时，离线算法以与网络规模 n 线性增长的内存实现渐近准确聚类。
• 在线算法以 Θ(nh(n)) 的内存规模实现渐近准确聚类，当 h(n) 以小于 n^{1−ε} 的速度增长（ε > 0）时，该内存规模为亚线性。
• 对于满足 f(n) = ω(log(n)) 的图，选择 h(n) = 1 可实现线性内存下的准确聚类，且误分类率衰减快于 exp(−cT min{f(n), n^{1/3}}/n)。
• 当 √γf(n) = ω(1) 时，所提出的部分信息谱算法为准确聚类的充要条件，其依赖于观测节点与未观测节点之间的边。
• 这些算法仅需对数据进行一次遍历，可在所有列收集完成前重建聚类。
• 该在线算法是首个已知的亚线性内存流式社区检测算法，此前文献中无此类理论保证。