[论文解读] Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|Feb 4, 2016

Stochastic Gradient Optimization Techniques参考文献 31被引用 13

一句话总结

本文提出了一类用于矩阵求逆的随机拟牛顿算法，其收敛速度为线性，并给出了明确的收敛速率。该研究首次提出了经典拟牛顿更新（如 BFGS、DFP）的随机块变体，并建立了其全局线性收敛性，自适应采样策略在大规模问题上显著提升了性能。

ABSTRACT

We develop and analyze a broad family of stochastic/randomized algorithms for inverting a matrix. We also develop specialized variants maintaining symmetry or positive definiteness of the iterates. All methods in the family converge globally and linearly (i.e., the error decays exponentially), with explicit rates. In special cases, we obtain stochastic block variants of several quasi-Newton updates, including bad Broyden (BB), good Broyden (GB), Powell-symmetric-Broyden (PSB), Davidon-Fletcher-Powell (DFP) and Broyden-Fletcher-Goldfarb-Shanno (BFGS). Ours are the first stochastic versions of these updates shown to converge to an inverse of a fixed matrix. Through a dual viewpoint we uncover a fundamental link between quasi-Newton updates and approximate inverse preconditioning. Further, we develop an adaptive variant of randomized block BFGS, where we modify the distribution underlying the stochasticity of the method throughout the iterative process to achieve faster convergence. By inverting several matrices from varied applications, we demonstrate that AdaRBFGS is highly competitive when compared to the well established Newton-Schulz and minimal residual methods. In particular, on large-scale problems our method outperforms the standard methods by orders of magnitude. Development of efficient methods for estimating the inverse of very large matrices is a much needed tool for preconditioning and variable metric optimization methods in the advent of the big data era.

研究动机与目标

• 开发高效迭代方法以求逆极大矩阵，特别是在直接方法不可行的大数据时代。
• 解决经典拟牛顿更新在矩阵求逆中缺乏随机变体的问题。
• 在收敛至真实逆矩阵的同时，保持矩阵结构（对称性、正定性）。
• 设计自适应采样策略以在实际中加速收敛。
• 为随机矩阵求逆算法建立理论收敛保证，并给出明确的收敛速率。

提出的方法

• 将矩阵求逆表述为一种随机迭代更新的“压缩-投影”或“约束-近似”优化问题。
• 通过采样随机子空间或向量，引入拟牛顿方法（如 BFGS、DFP、PSB）的随机块更新。
• 采用对偶视角，将拟牛顿更新与近似逆预条件化联系起来，揭示其根本联系。
• 通过分析误差的期望范数以及期望误差的范数，推导收敛速率。
• 优化采样分布以最小化收敛速率的上界，从而实现重要性采样以加快收敛。
• 提出 AdaRBFGS，一种自适应变体，在迭代过程中动态调整采样分布以加速收敛。

实验结果

研究问题

• RQ1 能否将随机拟牛顿更新形式化为具有明确收敛速率的全局收敛矩阵求逆算法？
• RQ2 拟牛顿更新与近似逆预条件化之间存在何种理论联系？
• RQ3 能否证明经典拟牛顿方法（如 BFGS、DFP）的随机块变体线性收敛至真实逆矩阵？
• RQ4 自适应采样策略如何在大规模矩阵求逆中提升收敛速度？
• RQ5 所提出的方法在实际中与 Newton-Schulz 和最小残差（MR）等成熟方法相比表现如何？

主要发现

• 所提出的随机拟牛顿方法全局且线性收敛，其收敛速率明确依赖于矩阵的条件数。
• 首次提出 BFGS、DFP、PSB、BB 和 GB 的随机块变体，并证明其收敛至固定矩阵的真实逆。
• AdaRBFGS 在大规模矩阵上相比 Newton-Schulz 和最小残差方法性能提升达数量级，包括 real-sim 数据集中一个 20,958×20,958 的矩阵。
• 在 real-sim 问题上，仅 AdaRBFGS 在合理时间和计算成本内成功完成矩阵求逆，其他方法或失败或速度过慢。
• “压缩-投影”与“约束-近似”视角之间的等价性揭示了拟牛顿方法与近似逆预条件化之间深刻的理论联系。
• 推导出最优与自适应采样分布，以最小化收敛速率的上界，从而在实际中实现更快收敛。