[论文解读] Personalized PageRank Estimation and Search: A Bidirectional Approach

Peter Lofgren, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Jul 21, 2015

Data Management and Algorithms参考文献 21被引用 12

一句话总结

本文提出一种双向个性化PageRank（PPR）估计算法，通过按PPR得分比例采样目标节点，实现大规模网络上高效个性化搜索。该方法相比先前的估计器提速3倍至8倍，且首次实现无需扫描所有候选节点即可找到top-k结果，利用预计算的反向路径与双向随机游走，使百亿条边图的查询时间达到亚线性水平。

ABSTRACT

We present new algorithms for Personalized PageRank estimation and Personalized PageRank search. First, for the problem of estimating Personalized PageRank (PPR) from a source distribution to a target node, we present a new bidirectional estimator with simple yet strong guarantees on correctness and performance, and 3x to 8x speedup over existing estimators in experiments on a diverse set of networks. Moreover, it has a clean algebraic structure which enables it to be used as a primitive for the Personalized PageRank Search problem: Given a network like Facebook, a query like "people named John", and a searching user, return the top nodes in the network ranked by PPR from the perspective of the searching user. Previous solutions either score all nodes or score candidate nodes one at a time, which is prohibitively slow for large candidate sets. We develop a new algorithm based on our bidirectional PPR estimator which identifies the most relevant results by sampling candidates based on their PPR; this is the first solution to PPR search that can find the best results without iterating through the set of all candidate results. Finally, by combining PPR sampling with sequential PPR estimation and Monte Carlo, we develop practical algorithms for PPR search, and we show via experiments that our algorithms are efficient on networks with billions of edges.

研究动机与目标

• 解决在大规模网络中个性化搜索的挑战，因PPR向量完整预计算需O(n²)存储空间而不可行。
• 克服现有方法每查询需O(|T|)时间对所有候选目标评分的低效问题。
• 开发可扩展的解决方案，在不遍历所有候选节点的情况下识别top-k结果，实现交互式响应时间。
• 使基于PPR的搜索在真实世界网络（如社交媒体和用户-项目图）中可实际部署。
• 为PPR估计与大规模图上搜索性能提供理论保证和实证验证。

提出的方法

• 提出一种双向PPR估计器，通过前向与反向向量的点积计算PPR估计值，实现清晰的代数结构与高效计算。
• 从目标节点出发使用反向随机游走预计算反向可达性，从而实现从任意源节点快速估计PPR。
• 采用两阶段方法按PPR得分比例采样候选目标：第一阶段，从源节点模拟前向游走直至接近目标；第二阶段，利用预计算的反向数据高效采样目标。
• 提出两种变体：BiPPR-Precomp-Grouped与BiPPR-Precomp-Sampling，通过预计算并分组反向路径以提升效率。
• 结合双向PPR估计与蒙特卡洛采样及顺序估计，构建实用的PPR搜索算法。
• 利用高PPR节点更可能被随机游走命中这一事实，通过采样高效识别top结果，而无需完整枚举。

实验结果

研究问题

• RQ1 双向PPR估计方法是否能在保证理论保证的同时，相较现有方法实现实际加速？
• RQ2 基于PPR的个性化搜索是否可实现相对于候选目标数量的亚线性时间复杂度？
• RQ3 基于PPR得分的采样策略是否可在不评估所有候选节点的情况下识别top-k结果？
• RQ4 双向PPR估计在拥有数十亿条边的多样化真实世界网络中性能如何扩展？
• RQ5 预计算的反向可达性数据是否能支持高效、低延迟的交互式个性化搜索应用？

主要发现

• 双向PPR估计器在包括网页和社交图在内的多样化网络中，相较FAST-PPR等现有估计器实现3倍至8倍加速。
• 在Pokec图（3000万条边）上，BiPPR-Precomp-Grouped与BiPPR-Precomp-Sampling在所有测试目标集大小（|T| = 10至10,000）下均实现查询时间低于250ms。
• 在Pokec图上，当|T|较大时，双向方法优于蒙特卡洛方法；而当|T|较小时，蒙特卡洛方法更慢，表明两者性能存在互补的权衡。
• Pokec图上预计算反向数据的存储量为800KB（|T|=10）至3MB（|T|=10,000），Twitter图上为3MB至30MB，表明空间开销极低。
• 该算法可扩展至百亿条边的图，实验验证了在最多160万个节点与3000万条边的网络中的效率。
• 该方法实现了首个实用的PPR搜索算法，避免扫描所有候选节点，通过基于PPR得分的采样实现亚线性查询时间。