[论文解读] Truss Decomposition in Massive Networks

Jia Wang, James Cheng|arXiv (Cornell University)|May 30, 2012

Complex Network Analysis Techniques参考文献 29被引用 9

一句话总结

本文提出了针对大规模网络的高效内存和I/O高效算法，用于三角分解，通过优化高degree顶点的处理，改进了先前工作，实现了主内存无法容纳的数据集的可扩展计算。主要贡献在于证明k-truss比k-core能捕捉到更紧密、更凝聚的网络结构，实验表明在真实世界图上，该方法相比现有方法具有显著的性能提升。

ABSTRACT

The k-truss is a type of cohesive subgraphs proposed recently for the study of networks. While the problem of computing most cohesive subgraphs is NP-hard, there exists a polynomial time algorithm for computing k-truss. Compared with k-core which is also efficient to compute, k-truss represents the "core" of a k-core that keeps the key information of, while filtering out less important information from, the k-core. However, existing algorithms for computing k-truss are inefficient for handling today's massive networks. We first improve the existing in-memory algorithm for computing k-truss in networks of moderate size. Then, we propose two I/O-efficient algorithms to handle massive networks that cannot fit in main memory. Our experiments on real datasets verify the efficiency of our algorithms and the value of k-truss.

研究动机与目标

• 解决现有大规模网络三角分解算法效率低下的问题。
• 为中等规模图设计一种优化高degree顶点处理的内存内算法。
• 为无法容纳在主内存中的大规模网络设计I/O高效的算法。
• 证明k-truss在网络分析中作为凝聚子图比k-core更有效。

提出的方法

• 提出一种改进的内存内算法，通过消除高degree顶点处理中的瓶颈，提升中等规模图的性能。
• 引入一种自底向上的I/O高效算法，用于大规模网络，利用迭代边支持计算和高效的图划分。
• 设计一种自顶向下的I/O高效算法，适用于仅需获取前t个k-trusses的应用场景。
• 使用I/O高效的三角形计数算法计算边支持，这是三角分解中的关键步骤。
• 设计一种自底向上的方法，系统地从较低的k值逐步构建k-trusses，确保正确性和效率。
• 采用图划分和外部内存处理技术，以处理超出主内存容量的数据集。

实验结果

研究问题

• RQ1 能否使三角分解在无法容纳于主内存的超大规模网络中实现可扩展性？
• RQ2 k-truss与k-core相比，在捕捉凝聚、紧密连接的网络结构方面表现如何？
• RQ3 I/O高效算法是否能在大规模图上超越现有的内存内和MapReduce-based方法？
• RQ4 k-truss是否作为极大团枚举和最大团查找的启发式方法优于k-core？
• RQ5 所提算法在运行时间和I/O效率方面相比先前方法的性能提升如何？

主要发现

• 所提出的内存内算法显著优于Cohen的原始内存内算法，尤其在高degree顶点较多的图上表现更优。
• 自底向上的I/O高效算法使大规模网络的三角分解实现可扩展性，例如Wikipedia和Friendster图，这些图大到无法容纳于主内存。
• 自顶向下的算法能高效检索前t个k-trusses，适用于关注网络最凝聚部分的应用。
• 实验表明，真实世界经理-关系图的4-truss聚类系数为0.80，显著高于原始图（0.51）和3-core（0.65），表明社区凝聚性更强。
• kmax-truss（即最凝聚的k-truss）远比cmax-core更凝聚，最大团大小在k-truss下被限制为53个顶点，而在k-core下为132个顶点，表明k-truss能更有效地过滤弱连接。
• 实验表明，k-truss作为极大团枚举和最大团查找的启发式方法优于k-core，能更好地隔离密集且有意义的子结构。