[论文解读] Optimized on-line computation of PageRank algorithm

Dohy Hong|arXiv (Cornell University)|Feb 28, 2012

Complex Network Analysis Techniques参考文献 21被引用 16

一句话总结

本文提出了一种基于流体扩散的新型算法，通过重新排序矩阵-向量更新以优先处理流体流量高的节点，显著加速了PageRank计算，相较于传统的幂迭代和OPIC方法实现了显著提速。该方法支持异步分布式计算，在真实网络图上，尤其在高悬挂节点场景下，收敛时间最多减少50%。

ABSTRACT

In this paper we present new ideas to accelerate the computation of the eigenvector of the transition matrix associated to the PageRank algorithm. New ideas are based on the decomposition of the matrix-vector product that can be seen as a fluid diffusion model, associated to new algebraic equations. We show through experiments on synthetic data and on real data-sets how much this approach can improve the computation efficiency.

研究动机与目标

• 解决大规模网络图中计算PageRank特征向量的高计算成本问题。
• 在标准幂迭代和OPIC方法之外，提升迭代式PageRank算法的收敛速度。
• 设计一种与更新顺序无关、天然支持异步分布式计算的方法。
• 减少对矩阵补全和向量归一化的依赖，从而降低计算开销。
• 在合成数据集和真实数据集（包括不同链接密度和悬挂节点比例的网络图）上验证该方法的效率。

提出的方法

• 该方法将PageRank计算建模为流体扩散过程，其中流体从流体质量高的节点向其出链传播。
• 使用流体向量 $ F_n $ 和历史向量 $ H_n $ 跟踪累积贡献，更新基于 $ F_n = (I - J_{i_n} + dP J_{i_n}) F_{n-1} $，其中 $ i_n $ 是选定的更新节点。
• 根据流体质量选择更新节点，采用策略如 argmax ($ \text{ALGO-MAX} $)、随机选择 ($ \text{ALGO-RAND} $) 或结合流体质量和链接度的启发式方法 ($ \text{ALGO-OP} $)。
• 流体更新机制确保每次更新使用最新的部分结果，类似于高斯-赛德尔方法，但采用扩散式顺序，避免对更新序列的依赖。
• 通过直接处理转移矩阵 $ P $ 中的零列状态来避免对悬挂节点的矩阵补全，从而降低预处理成本。
• 该算法天然适用于异步分布式系统，因为更新顺序不影响收敛性或正确性。

实验结果

研究问题

• RQ1 基于流体扩散的矩阵-向量乘法模型是否在PageRank计算中优于标准幂迭代？
• RQ2 基于流体质量的、与顺序无关的异步更新策略是否比现有在线方法收敛更快？
• RQ3 在悬挂节点比例较高的图上，该方法表现如何？传统方法在这些场景下效率低下。
• RQ4 像 $ \text{ALGO-OP} $ 这类启发式节点选择策略（同时考虑流体质量和链接度）是否能进一步加速收敛？
• RQ5 与随机或均匀更新序列相比，基于流体质量的节点优先策略对收敛速度有何影响？

主要发现

• 在高悬挂节点比例的合成数据集（如 S1、S2、S3）上，所提方法相较于OPIC和幂迭代，最多减少了50%的基本计算步骤。
• 在 gr0.California 网络图（9,664 个节点，16,150 条链接）上，ALGO-OP 消除了 $ 1/\sqrt{n} $ 的收敛波动，表现出更快且更稳定的收敛性能。
• 在更大的 uk-2007-05@1000000 数据集（100 万个节点，4100 万条链接）上，ALGO-MAX 表现优于 ALGO-OP，表明最优节点选择策略取决于图的结构和密度。
• 该方法在无需矩阵补全或向量归一化的情况下实现了显著提速，降低了预处理和迭代成本。
• 流体扩散模型天然适用于异步分布式系统，因为更新顺序不影响收敛性或正确性。
• 将 argmax 替换为基于阈值的批量更新策略，在保持相近性能增益的同时，降低了节点选择的计算成本。