[论文解读] Parallel Maximum Clique Algorithms with Applications to Network Analysis and Storage

Ryan A. Rossi, David F. Gleich+2 more|arXiv (Cornell University)|Feb 25, 2013

Algorithms and Data Compression参考文献 56被引用 9

一句话总结

本文提出了一种针对大规模稀疏图（尤其是社交网络和信息网络）的快速并行最大团算法。该算法采用分支限界策略，结合核心数的激进剪枝与启发式团检测，实现了在1,000至1亿个节点的图上近乎线性的运行时间扩展，并在16核系统上约20分钟内求解了拥有18亿条边的社交网络的最大团。

ABSTRACT

We propose a fast, parallel maximum clique algorithm for large sparse graphs that is designed to exploit characteristics of social and information networks. The method exhibits a roughly linear runtime scaling over real-world networks ranging from 1000 to 100 million nodes. In a test on a social network with 1.8 billion edges, the algorithm finds the largest clique in about 20 minutes. Our method employs a branch and bound strategy with novel and aggressive pruning techniques. For instance, we use the core number of a vertex in combination with a good heuristic clique finder to efficiently remove the vast majority of the search space. In addition, we parallelize the exploration of the search tree. During the search, processes immediately communicate changes to upper and lower bounds on the size of maximum clique, which occasionally results in a super-linear speedup because vertices with large search spaces can be pruned by other processes. We apply the algorithm to two problems: to compute temporal strong components and to compress graphs.

研究动机与目标

• 通过设计可扩展的并行算法，解决大规模网络分析中NP难的最大团问题的计算不可行性。
• 实现对十亿条边网络的最大团的实用化计算，这些网络在传统精确方法下通常不可行。
• 利用最大团作为分析动态网络中时序强连通分量的工具，并通过顶点排序提升图压缩效率。
• 通过激进剪枝与跨进程的界传播实现高效并行化，从而获得高性能。

提出的方法

• 采用分支限界框架，并结合快速启发式团查找器，以获得最大团大小的初始下界。
• 结合顶点核心数与紧致的团大小上界，在图级和邻域级激进地剪枝搜索空间。
• 通过隐式图修改与周期性完整图更新，在不进行昂贵重新计算的前提下维持搜索效率。
• 使用多个工作进程并行探索搜索树，立即传播上下界更新，实现跨进程剪枝，并在某些情况下实现超线性加速。
• 设计可调框架，根据输入图特征动态调整数据结构与表示形式，以实现最优性能。
• 通过迭代提取最大团，并在每个团内按度数对顶点排序，构建一种顶点排序策略，以提升图压缩的局部性。

实验结果

研究问题

• RQ1 并行最大团算法是否能在真实世界的大规模稀疏网络上实现近乎线性的运行时间扩展？
• RQ2 核心数与启发式团检测在精确最大团计算中，能在多大程度上加速剪枝？
• RQ3 最大团计算能否被有效用于识别动态网络（如Twitter和电话通话网络）中的最大时序强连通分量？
• RQ4 基于团的顶点排序是否相比标准启发式方法能更有效地提升图压缩效率？

主要发现

• 该算法在16核共享内存系统上，约20分钟内求解了拥有18亿条边的社交网络的最大团。
• 该算法在1,000至1亿个顶点的网络上表现出近乎线性的运行时间扩展，尽管问题本身是NP难的，但仍展现出强大的实际效率。
• 由于跨进程剪枝，该算法在某些情况下实现了超线性加速，即一个工作进程的界更新可使其他工作进程大幅削减搜索空间。
• 基于团的顶点排序生成的图压缩结果与当前最先进的分层标签传播（LLP）方法相当，且在Facebook网络上表现略差但依然有效。
• 该方法通过将问题转化为可达性图中的最大团计算，成功识别出Twitter和电话通话网络等动态网络中的最大时序强连通分量。
• 该软件实现已公开，支持可复现性，并可广泛应用于网络分析与图处理任务。