[论文解读] Theory and Practice of Triangle Problems in Very Large (Sparse (Power-Law)) Graphs

Matthieu Latapy|ArXiv.org|Sep 20, 2006

Complex Network Analysis Techniques参考文献 27被引用 8

一句话总结

本文提出了一种新颖的时间与空间高效算法，用于在非常大、稀疏且符合幂律分布的图中进行三角形列出、计数与查找——这类图在现实世界网络中很常见。本文提出了一种新算法（new-listing），并优化了现有算法（compact-forward），实现了最优的 O(m^{3/2}) 时间复杂度与 O(n) 空间复杂度，在幂律图上表现出显著的性能提升，实验结果基于真实数据集进行了验证。

ABSTRACT

Finding, counting and/or listing triangles (three vertices with three edges) in large graphs are natural fundamental problems, which received recently much attention because of their importance in complex network analysis. We provide here a detailed state of the art on these problems, in a unified way. We note that, until now, authors paid surprisingly little attention to space complexity, despite its both fundamental and practical interest. We give the space complexities of known algorithms and discuss their implications. Then we propose improvements of a known algorithm, as well as a new algorithm, which are time optimal for triangle listing and beats previous algorithms concerning space complexity. They have the additional advantage of performing better on power-law graphs, which we also study. We finally show with an experimental study that these two algorithms perform very well in practice, allowing to handle cases that were previously out of reach.

研究动机与目标

• 解决现有三角形查找算法在大规模图中对空间复杂度关注不足的问题。
• 为稀疏幂律图中的三角形列出、计数与查找设计时间与空间最优的算法。
• 通过利用幂律度分布特性，提升实际图中的算法性能。
• 提供所提算法效率与可扩展性的理论与实验验证。

提出的方法

• 提出一种新算法 'new-listing'，利用紧凑邻接表示，在 O(m^{3/2}) 时间与 O(n) 空间内列出所有三角形。
• 优化 'compact-forward' 算法，在保持最优时间复杂度的同时降低空间使用量。
• 利用幂律度分布（指数为 α）推导出改进的理论界：时间复杂度为 O(m·n^{1/α})，空间复杂度为 O(n)。
• 采用简单的紧凑图表示，以支持高效的邻域遍历与三角形枚举。
• 引入理论框架，分析空间与时间复杂度，区分一般稀疏图与幂律图的差异。
• 在真实世界图（例如来自 WebGraph 项目的数据）上进行大量实验，评估实际性能。

实验结果

研究问题

• RQ1 仅使用紧凑图表示，是否可以在 O(m^{3/2}) 时间与 O(n) 空间内完成三角形列出？
• RQ2 现实世界图的幂律度分布如何影响三角形查找算法的性能？
• RQ3 在不牺牲时间最优性的情况下，能否显著降低三角形列出的空间复杂度？
• RQ4 对于指数为 α 的幂律图，三角形列出的最优时间与空间复杂度是多少？
• RQ5 在真实世界大规模图中，实际算法能否在时间和空间上均优于基于矩阵的方法？

主要发现

• 所提出的 'new-listing' 算法在稀疏图中实现了三角形列出的最优 O(m^{3/2}) 时间复杂度与 O(n) 空间复杂度。
• 对 'compact-forward' 算法的优化使其在保持最优时间复杂度的同时降低了空间使用，使其适用于大规模图。
• 对于幂律图（指数 α），本文推导出时间复杂度为 O(m·n^{1/α})、空间复杂度为 O(n) 的算法，优于一般情况下的理论界。
• 实验评估表明，new-listing 与 compact-forward 在真实世界数据集上均优于现有方法，能够处理此前无法处理的场景。
• 研究发现，基于矩阵的方法虽然时间复杂度最优（O(n^{2.376})），但需要 Θ(n²) 的空间，因此在超大规模图中不切实际。
• 目前尚无已知的时间或空间复杂度差异存在于三角形查找、计数与伪列出之间，表明它们在渐近意义下具有相同的复杂度。