[论文解读] Panther: Fast Top-k Similarity Search in Large Networks

Jing Zhang, Jie Tang+4 more|arXiv (Cornell University)|Apr 10, 2015

Complex Network Analysis Techniques参考文献 32被引用 24

一句话总结

Panther 提出了一种快速、基于采样的方法，通过沿路径的随机游走来估计结构相似性，实现大规模网络中顶点的 top-k 相似性搜索。该方法在保持可证明的误差边界和置信度的同时，相较于最先进方法实现了高达 300× 的加速，其扩展版本（Panther++）还可用于比较不连通顶点。

ABSTRACT

Estimating similarity between vertices is a fundamental issue in network analysis across various domains, such as social networks and biological networks. Methods based on common neighbors and structural contexts have received much attention. However, both categories of methods are difficult to scale up to handle large networks (with billions of nodes). In this paper, we propose a sampling method that provably and accurately estimates the similarity between vertices. The algorithm is based on a novel idea of random path, and an extended method is also presented, to enhance the structural similarity when two vertices are completely disconnected. We provide theoretical proofs for the error-bound and confidence of the proposed algorithm. We perform extensive empirical study and show that our algorithm can obtain top-k similar vertices for any vertex in a network approximately 300x faster than state-of-the-art methods. We also use identity resolution and structural hole spanner finding, two important applications in social networks, to evaluate the accuracy of the estimated similarities. Our experimental results demonstrate that the proposed algorithm achieves clearly better performance than several alternative methods.

研究动机与目标

• 解决现有顶点相似性方法在包含数十亿个节点的大规模网络中面临的可扩展性挑战。
• 开发一种统一方法，融合共同邻居和基于结构角色的相似性原理。
• 为大规模网络中任意顶点提供高效且具备可证明准确度保证的 top-k 相似性搜索。
• 将方法扩展至估计不连通网络中顶点之间的相似性，而现有方法难以有效处理此类情况。
• 在真实应用场景（如身份合并与结构空缺填补者检测）中展示优越性能。

提出的方法

• 使用从随机选择的顶点出发的 R 次长度为 T 的随机游走，基于路径上的共现频率估计相似性。
• 理论分析表明，当样本量 R = c/ε²(log₂(C(T,2)) + 1 + ln(1/δ)) 时，可确保误差界 ε 以置信度 1−δ 成立。
• 提出 Panther++，通过引入基于结构的特征向量来增强相似性估计。
• 利用特征向量在顶点位于不连通组件时仍能计算相似性。
• 应用该方法通过采样高效计算每个节点的 top-k 相似顶点，避免完整的矩阵计算。
• 利用理论边界确保相似性估计的准确性和置信度，而无需进行 exhaustive 计算。

实验结果

研究问题

• RQ1 基于采样的方法是否能在大规模网络的 top-k 顶点相似性搜索中同时实现高效率与可证明的准确性？
• RQ2 如何估计网络中完全不连通的顶点之间的结构相似性？
• RQ3 与 SimRank 和 ReFeX 等现有方法相比，随机路径采样策略在效率和可扩展性方面优势有多大？
• RQ4 该方法在真实应用场景（如身份合并与结构空缺填补者检测）中能否保持高准确性？
• RQ5 在所提出的随机游走框架中，样本量、路径长度与估计误差之间的理论关系是什么？

主要发现

• 在包含 443,070 个顶点和 500 万个边的腾讯子网络上，Panther 相较于最快基线方法（fast top-k SimRank）实现了约 300× 的加速。
• 该算法可扩展至最大 5160 万个顶点和 10 亿条边的网络，平均每个顶点的 top-k 结果返回时间仅为 0.0001 秒。
• Panther++ 在两个不连通网络之间成功识别出相似顶点，如在跨不连通网络的 top-k 搜索中所展示。
• 在身份合并任务中，Panther++ 表现优于其他方法，显示出在链接重复身份方面更高的准确性。
• 理论分析确认，样本量 R 可确保误差 ε 以置信度 1−δ 成立，且仅依赖于 T、ε 和 δ。
• 实验结果表明，Panther++ 在结构空缺填补者检测（一项关键网络分析任务）中优于多个基线方法。