[论文解读] Robust Shift-and-Invert Preconditioning: Faster and More Sample Efficient Algorithms for Eigenvector Computation

Chi Jin, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 29, 2015

Stochastic Gradient Optimization Techniques参考文献 20被引用 16

一句话总结

本文提出了一种更快、样本高效的算法，用于通过鲁棒的位移-求逆预处理方法计算矩阵的主特征向量，将特征向量计算转化为使用方差减少梯度方法求解线性系统。该方法在一般条件下实现了渐近最优的运行时间和样本复杂度边界。

ABSTRACT

We provide faster algorithms and improved sample complexities for approximating the top eigenvector of a matrix. Offline Setting: Given an $n imes d$ matrix $A$, we show how to compute an $ε$ approximate top eigenvector in time $ ilde O ( [nnz(A) + \frac{d \cdot sr(A)}{gap^2}]\cdot \log 1/ε)$ and $ ilde O([\frac{nnz(A)^{3/4} (d \cdot sr(A))^{1/4}}{\sqrt{gap}}]\cdot \log1/ε)$. Here $sr(A)$ is the stable rank and $gap$ is the multiplicative eigenvalue gap. By separating the $gap$ dependence from $nnz(A)$ we improve on the classic power and Lanczos methods. We also improve prior work using fast subspace embeddings and stochastic optimization, giving significantly improved dependencies on $sr(A)$ and $ε$. Our second running time improves this further when $nnz(A) \le \frac{d\cdot sr(A)}{gap^2}$. Online Setting: Given a distribution $D$ with covariance matrix $Σ$ and a vector $x_0$ which is an $O(gap)$ approximate top eigenvector for $Σ$, we show how to refine to an $ε$ approximation using $ ilde O(\frac{v(D)}{gap^2} + \frac{v(D)}{gap \cdot ε})$ samples from $D$. Here $v(D)$ is a natural variance measure. Combining our algorithm with previous work to initialize $x_0$, we obtain a number of improved sample complexity and runtime results. For general distributions, we achieve asymptotically optimal accuracy as a function of sample size as the number of samples grows large. Our results center around a robust analysis of the classic method of shift-and-invert preconditioning to reduce eigenvector computation to approximately solving a sequence of linear systems. We then apply fast SVRG based approximate system solvers to achieve our claims. We believe our results suggest the general effectiveness of shift-and-invert based approaches and imply that further computational gains may be reaped in practice.

研究动机与目标

• 解决传统幂法和Lanczos方法在特征值间隙较小时主特征向量计算效率低下的问题。
• 通过解耦矩阵的稳定秩与特征值间隙的依赖关系，改进离线和在线主特征向量估计。
• 通过分析底层分布的方差，在在线设置下实现样本复杂度的渐近最优。
• 构建一个鲁棒的位移-求逆预处理框架，使使用随机方差减少梯度方法高效求解线性系统成为可能。

提出的方法

• 应用位移-求逆预处理，将主特征向量问题转化为求解矩阵 $\lambda\mathbf{I} - \mathbf{A}^\top\mathbf{A}$ 的一系列线性系统，其中 $\lambda \approx \lambda_1(\mathbf{A}^\top\mathbf{A})$。
• 使用随机方差减少梯度（SVRG）的变体，以改进收敛保证的方式近似求解线性系统。
• 提出对位移-求逆幂法的鲁棒分析，确保即使在线性系统求解中存在近似误差时也能保证收敛。
• 定义一个依赖于分布的方差度量 $\operatorname{v}(\mathcal{D})$，以刻画在线设置下的样本复杂度。
• 将所提算法与现有初始化方法结合，在各种分布假设下实现改进的样本复杂度和运行时间复杂度。
• 通过分析瑞利商和特征值间隙的演化，建立算法收敛速率的理论边界。

实验结果

研究问题

• RQ1 我们能否设计一种运行时间可分离矩阵稳定秩与特征值间隙依赖关系的主特征向量计算算法？
• RQ2 在统计设置下，是否可能在样本数量趋于无穷时实现在线主特征向量估计的最优样本复杂度？
• RQ3 鲁棒的位移-求逆预处理能否有效与方差减少优化结合，以更高效地求解线性系统？
• RQ4 所提方法在一般分布下是否实现了样本复杂度的渐近最优？
• RQ5 在离线和在线两种情形下，算法性能如何随稳定秩和特征值间隙变化而缩放？

主要发现

• 在离线主特征向量计算中，该算法实现了 $\widetilde{O}\left(\left[\operatorname{nnz}(\mathbf{A}) + \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}\right]\cdot\log\frac{1}{\epsilon}\right)$ 的运行时间，优于经典的幂法和Lanczos方法。
• 当 $\operatorname{nnz}(\mathbf{A}) \leq \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}$ 时，可实现另一种运行时间 $\widetilde{O}\left(\left[\frac{\operatorname{nnz}(\mathbf{A})^{3/4}(d\operatorname{sr}(\mathbf{A}))^{1/4}}{\sqrt{\mathrm{gap}}}\right]\cdot\log\frac{1}{\epsilon}\right)$，在稀疏场景下进一步提升性能。
• 在在线设置中，该算法需要 $\widetilde{O}\left(\frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap}^2} + \frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap} \cdot \epsilon}\right)$ 个样本，以计算 $\epsilon$-近似主特征向量。
• 样本复杂度被证明对一般分布是渐近最优的，与高斯尖峰模型的下界一致。
• 理论分析证实，该算法对线性系统求解中的近似误差具有鲁棒性，从而支持使用迭代求解器进行实际部署。