[论文解读] Random Osborne: a simple, practical algorithm for Matrix Balancing in near-linear time.

Jason M. Altschuler, Pablo A. Parrilo|arXiv (Cornell University)|Apr 6, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用 4

一句话总结

本文提出 Random Osborne，即 Osborne 算法的随机化变体，通过采用凸优化视角和基于 Hellinger 距离的势函数的对数凸性，实现了近线性时间收敛——具体而言，对于 $\ell_1$ 精度，其运算次数为 $O(m\theta^{-2} \log \kappa)$。该方法在理论上优于先前的界限，确保了实际的 $\ell_1$ 精度，并可推广至循环、贪心及并行变体。

ABSTRACT

We revisit Matrix Balancing, a pre-conditioning task used ubiquitously for computing eigenvalues and matrix exponentials. Since 1960, Osborne's algorithm has been the practitioners' algorithm of choice, and is now implemented in most numerical software packages. However, the theoretical properties of Osborne's algorithm are not well understood. Here, we show that a simple random variant of Osborne's algorithm converges in near-linear time in the input sparsity. Specifically, it balances $K\in\mathbb{R}_{\geq 0}^{n imes n}$ after $O(m\epsilon^{-2}\log\kappa)$ arithmetic operations, where $m$ is the number of nonzeros in $K$, $\epsilon$ is the $\ell_1$ accuracy, and $\kappa=\sum_{ij}K_{ij}/(\min_{ij:K_{ij} eq 0}K_{ij})$ measures the conditioning of $K$. Previous work had established near-linear runtimes either only for $\ell_2$ accuracy (a weaker criterion which is less relevant for applications), or through an entirely different algorithm based on (currently) impractical Laplacian solvers. We further show that if the graph with adjacency matrix $K$ is moderately connected--e.g., if $K$ has at least one positive row/column pair--then Osborne's algorithm initially converges exponentially fast, yielding an improved runtime $O(m\epsilon^{-1}\log\kappa)$. We also address numerical precision issues by showing that these runtime bounds still hold when using $O(\log(n\kappa/\epsilon))$-bit numbers. Our results are established through a potential argument that leverages a convex optimization perspective of Osborne's algorithm, and relates the per-iteration progress to the current imbalance as measured in Hellinger distance. Unlike previous analyses, we critically exploit log-convexity of the potential. Our analysis extends to other variants of Osborne's algorithm: along the way, we establish significantly improved runtime bounds for cyclic, greedy, and parallelized variants.

研究动机与目标

• 为解决长期存在的理论空白问题，即 Osborne 算法虽在数值软件中作为事实标准，但其理论收敛性保证较差。
• 开发 Osborne 算法的一种变体，实现 $\ell_1$ 精度下的近线性时间收敛，该精度标准比 $\ell_2$ 精度更符合实际应用需求。
• 建立在有限精度算术下的运行时间界限，使用 $O(\log(n\kappa/\epsilon))$-bit 数字，确保数值上的可行性。
• 通过统一的势函数分析，将理论收敛性保证扩展至 Osborne 算法的循环、贪心及并行化变体。

提出的方法

• 提出 Osborne 算法的随机化变体，每轮迭代中均匀随机选择行/列进行更新，确保收敛速度比原始确定性版本更快且更可预测。
• 基于 Hellinger 距离定义势函数以衡量不平衡程度，证明其具有对数凸性，并可实现强每轮进展界限。
• 采用凸优化框架，将势函数的减少量与当前不平衡程度关联，从而实现对收敛速度的紧密分析。
• 利用势函数的对数凸性，推导出在矩阵中等连通性条件下，早期迭代中呈现指数级收敛。
• 通过分析位复杂度，建立在有限精度算术下的运行时间界限，表明仅需 $O(\log(n\kappa/\epsilon))$-bit 数字即可维持理论保证。
• 通过将势函数论证适配至各自更新规则，将分析扩展至循环、贪心及并行变体。

实验结果

研究问题

• RQ1 Random Osborne 能否实现 $\ell_1$ 精度下的近线性时间收敛？该精度标准比 $\ell_2$ 精度更适用于数值应用。
• RQ2 当底层矩阵图具有中等连通性（如至少存在一对正行/列）时，Osborne 算法的收敛速度是否显著提升？
• RQ3 在仅使用 $O(\log(n\kappa/\epsilon))$ 位数字的有限精度算术下，Osborne 算法的理论运行时间界限是否仍可保持？
• RQ4 相同的势函数与分析框架能否推广至 Osborne 算法的其他变体（如循环、贪心及并行化版本）？

主要发现

• Random Osborne 在 $O(m\epsilon^{-2}\log\kappa)$ 次算术运算内收敛至 $\ell_1$ 精度，其中 $m$ 为非零元个数，$\kappa$ 衡量矩阵条件数。
• 当矩阵图具有中等连通性时，收敛速度变为指数级，运行时间缩短至 $O(m\epsilon^{-1}\log\kappa)$。
• 在仅使用 $O(\log(n\kappa/\epsilon))$-bit 数字的有限精度算术下，理论运行时间界限依然成立，确保实际可实现性。
• 基于 Hellinger 距离的对数凸势函数分析，为分析 Osborne 类算法提供了全新且更强大的理论框架。
• 相同的理论保证被成功扩展至循环、贪心及并行化变体，显著改进了其已知运行时间界限。
• 本工作通过首次为实际算法在 $\ell_1$ 精度下提供近线性时间分析，解决了长期存在的理论空白问题。