[论文解读] Regularized Laplacian Estimation and Fast Eigenvector Approximation

Patrick O. Perry, Michael W. Mahoney|arXiv (Cornell University)|Oct 8, 2011

Markov Chains and Monte Carlo Methods参考文献 16被引用 4

一句话总结

本文为基于扩散的图拉普拉斯矩阵特征向量近似方法提供了统计解释，表明其隐式求解了一个用于估计图拉普拉斯矩阵伪逆的正则化半定规划（SDP）。关键贡献在于将快速PageRank风格的算法与Wishart先验下的最大后验（MAP）估计联系起来，揭示了计算加速本质上涉及统计正则化。

ABSTRACT

Recently, Mahoney and Orecchia demonstrated that popular diffusion-based procedures to compute a quick \emph{approximation} to the first nontrivial eigenvector of a data graph Laplacian \emph{exactly} solve certain regularized Semi-Definite Programs (SDPs). In this paper, we extend that result by providing a statistical interpretation of their approximation procedure. Our interpretation will be analogous to the manner in which $\ell_2$-regularized or $\ell_1$-regularized $\ell_2$-regression (often called Ridge regression and Lasso regression, respectively) can be interpreted in terms of a Gaussian prior or a Laplace prior, respectively, on the coefficient vector of the regression problem. Our framework will imply that the solutions to the Mahoney-Orecchia regularized SDP can be interpreted as regularized estimates of the pseudoinverse of the graph Laplacian. Conversely, it will imply that the solution to this regularized estimation problem can be computed very quickly by running, e.g., the fast diffusion-based PageRank procedure for computing an approximation to the first nontrivial eigenvector of the graph Laplacian. Empirical results are also provided to illustrate the manner in which approximate eigenvector computation \emph{implicitly} performs statistical regularization, relative to running the corresponding exact algorithm.

研究动机与目标

• 为基于扩散的图拉普拉斯矩阵快速特征向量近似方法提供统计解释。
• 表明这些启发式方法隐式求解了一个正则化SDP，类似于岭回归或套索回归。
• 将Mahoney-Orecchia正则化SDP的求解表述为对总体拉普拉斯矩阵伪逆的最大后验（MAP）估计问题。
• 证明该正则化估计问题的解可使用快速扩散算法（如PageRank）高效计算。
• 通过实证验证，隐式正则化在近似方法中的表现优于精确但未正则化的传统方法。

提出的方法

• 构建一个统计采样模型，其中观测到的图拉普拉斯矩阵是总体拉普拉斯矩阵的噪声实现。
• 定义一个贝叶斯估计框架，通过在精度矩阵上施加Wishart先验，利用MAP估计总体拉普拉斯矩阵的逆。
• 推导出MAP估计导致一个正则化SDP，其目标函数为Tr(LX) + (1/η)·(-log|X|)，与Mahoney-Orecchia的公式一致。
• 证明该正则化SDP的解可使用快速扩散算法（如PageRank）高效求解。
• 通过在采样图上进行蒙特卡洛模拟，评估正则化与非正则化估计器的相对性能。
• 分析最优正则化参数η*对样本大小和图结构的依赖关系，验证理论预测。

实验结果

研究问题

• RQ1 基于扩散的快速特征向量近似方法能否被解释为求解一个正则化的统计估计问题？
• RQ2 Mahoney-Orecchia方法中使用的正则化SDP公式的贝叶斯解释是什么？
• RQ3 快速算法中的隐式正则化与显式正则化在估计精度上的表现如何比较？
• RQ4 在图拉普拉斯矩阵估计的背景下，正则化参数η的最优值是什么？
• RQ5 正则化估计器的性能如何依赖于样本大小和图结构？

主要发现

• Mahoney-Orecchia正则化SDP的解可被解释为在Wishart先验下对图拉普拉斯矩阵伪逆的最大后验（MAP）估计。
• SDP中正则化项G(X) = -log|X|对应于精度矩阵的共轭先验，将该算法与贝叶斯推断联系起来。
• 快速扩散算法（如PageRank）可精确求解该正则化SDP，从而在无需显式求解SDP的情况下实现高效计算。
• 实证结果表明，隐式正则化可提高估计精度，尤其在噪声较大或采样稀疏的条件下表现更优。
• 正则化参数η存在一个“最佳点”，此时性能达到峰值，且最优η*随样本大小和图扩张性（以s衡量）增加而增大。
• 随着样本大小增加，最优正则化参数η*单调收敛于总体拉普拉斯矩阵伪逆的迹。