[论文解读] SLING: A Near-Optimal Index Structure for SimRank

Boyu Tian, Xiaokui Xiao|arXiv (Cornell University)|Apr 14, 2016

Advanced Graph Neural Networks参考文献 32被引用 9

一句话总结

SLING 是一种用于 SimRank 的新型索引结构，保证查询结果的加法误差最多为 ε，单对查询和单源查询的响应时间分别为 O(1/ε) 和 O(n/ε)，空间复杂度为 O(n/ε)，预处理时间为 O(m/ε + n log(n/δ)/ε²)。该方法实现了接近最优的时间与空间复杂度，在单对查询上相比先前方法最高可提升 10,000 倍的性能。

ABSTRACT

SimRank is a similarity measure for graph nodes that has numerous applications in practice. Scalable SimRank computation has been the subject of extensive research for more than a decade, and yet, none of the existing solutions can efficiently derive SimRank scores on large graphs with provable accuracy guarantees. In particular, the state-of-the-art solution requires up to a few seconds to compute a SimRank score in million-node graphs, and does not offer any worst-case assurance in terms of the query error. This paper presents SLING, an efficient index structure for SimRank computation. SLING guarantees that each SimRank score returned has at most $\varepsilon$ additive error, and it answers any single-pair and single-source SimRank queries in $O(1/\varepsilon)$ and $O(n/\varepsilon)$ time, respectively. These time complexities are near-optimal, and are significantly better than the asymptotic bounds of the most recent approach. Furthermore, SLING requires only $O(n/\varepsilon)$ space (which is also near-optimal in an asymptotic sense) and $O(m/\varepsilon + n\log \frac{n}δ/\varepsilon^2)$ pre-computation time, where $δ$ is the failure probability of the preprocessing algorithm. We experimentally evaluate SLING with a variety of real-world graphs with up to several millions of nodes. Our results demonstrate that SLING is up to $10000$ times (resp. $110$ times) faster than competing methods for single-pair (resp. single-source) SimRank queries, at the cost of higher space overheads.

研究动机与目标

• 解决大规模图上 SimRank 计算缺乏高效、准确且可扩展的方法的问题，同时提供可证明的误差界。
• 克服现有方法的局限性，这些方法要么查询时间过长（每次查询需数秒），要么缺乏最坏情况下的准确度保证。
• 设计一种索引结构，支持快速的单对和单源 SimRank 查询，实现接近最优的时间与空间复杂度。
• 通过将每个 SimRank 分数的加法误差严格控制在 ε 以内，确保可证明的准确性。
• 通过优化预处理和查询算法，在保持理论最优性的同时实现实际效率。

提出的方法

• 提出 SLING，一种索引结构，利用随机采样和矩阵逼近技术预计算并存储 SimRank 分数的压缩表示。
• 采用两阶段方法：首先在 O(m/ε + n log(n/δ)/ε²) 时间内预计算核心索引，以高概率（1−δ）保证 ε 准确性，利用集中极限不等式。
• 通过利用 SimRank 矩阵的低秩结构以及图邻域的稀疏性，将索引存储在 O(n/ε) 空间内。
• 通过检索并利用邻域相似性传播技术对预计算的估计值进行精炼，实现单对查询的 O(1/ε) 响应时间。
• 通过在图中聚合每个节点的预计算贡献，实现单源查询的 O(n/ε) 响应时间。
• 集成早期终止和缓存等优化技术，在不牺牲理论保证的前提下提升实际性能。

实验结果

研究问题

• RQ1 能否设计一种索引结构，使单对 SimRank 查询的响应时间在 ε 上接近最优，同时保证最多 ε 的加法误差？
• RQ2 是否可能在保证可证明误差界和接近最优空间使用的情况下，实现单源 SimRank 查询的 O(n/ε) 响应时间？
• RQ3 如何优化预处理过程，以最小化时间和空间开销，同时确保所有查询类型的高精度？
• RQ4 在真实世界的大规模图上，该索引在速度和准确性方面相比最先进方法的提升程度如何？
• RQ5 该索引能否在保证空间效率的同时，适用于百万节点图的生产环境部署？

主要发现

• SLING 以 O(1/ε) 时间响应单对 SimRank 查询，接近最优，显著快于最先进方法的 O(log(1/δ)/ε²) 时间。
• 对于单源查询，SLING 实现了 O(n/ε) 的时间复杂度，优于最近方法的 O(n log(1/ε)/ε²) 上限。
• 在节点数达数百万的真实图上，SLING 在单对查询上相比竞争方法最高快 10,000 倍，在单源查询上快 110 倍。
• SLING 保证每个分数的加法误差不超过 ε，而 Linearize 缺乏最坏情况下的误差保证。
• 在 top-k SimRank 对的精度评估中，SLING 的表现与 Linearize 相当或更优，在许多情况下精度高出最多 4%。
• SLING 的空间开销高于先前方法，但凭借更高的速度和准确性，使其适用于对低延迟、高精度相似性查询有要求的大规模应用场景。