[论文解读] Randomized Methods for Linear Constraints: Convergence Rates and Conditioning

D. Leventhal, Adrian S. Lewis|ArXiv.org|Jun 18, 2008

Sparse and Compressive Sensing Techniques参考文献 18被引用 4

一句话总结

本文分析了求解线性系统和不等式组的坐标下降法与迭代投影算法的随机化变体，表明在适当的概率分布下，期望收敛速率受条件数和度量正则性度量的约束。主要贡献在于建立了一个理论框架，将线性收敛速率与霍夫曼误差界和病态距离等自然条件度量联系起来。

ABSTRACT

We study randomized variants of two classical algorithms: coordinate descent for systems of linear equations and iterated projections for systems of linear inequalities. Expanding on a recent randomized iterated projection algorithm of Strohmer and Vershynin for systems of linear equations, we show that, under appropriate probability distributions, the linear rates of convergence (in expectation) can be bounded in terms of natural linear-algebraic condition numbers for the problems. We relate these condition measures to distances to ill-posedness, and discuss generalizations to convex systems under metric regularity assumptions.

研究动机与目标

• 建立用于求解线性系统的随机化坐标下降法的线性收敛速率，其边界由条件数决定。
• 将随机化迭代投影方法扩展至线性不等式组系统，并将其收敛性与误差界和不可行性距离相关联。
• 在度量正则性假设下，将收敛性分析推广至凸可行性问题。
• 将经典条件度量（如条件数和病态距离）与随机化算法性能联系起来。
• 证明随机化算法可实现与确定性方法相当的收敛速率，且理论分析更为简化。

提出的方法

• 采用针对线性系统结构定制的概率分布的随机化坐标下降法，以确保期望下的线性收敛。
• 应用随机化迭代投影方案，其中从线性不等式集合中均匀随机选择约束。
• 利用度量正则性与误差界理论，限制每次迭代中到解集距离的期望减少量。
• 采用Pierra的乘积空间公式将m重可行性问题转化为两重问题，从而实现对平均投影方法的分析。
• 通过期望不等式推导收敛速率，利用凸性与詹森不等式比较随机化与平均投影方案。
• 依赖霍夫曼误差界与雷内加尔的不可行性距离作为条件度量，以量化收敛速度。

实验结果

研究问题

• RQ1 随机化坐标下降法在求解线性系统时，其收敛速率是否可由标准条件数界定？
• RQ2 在收敛速度与问题条件依赖性方面，随机化投影方法与确定性方法相比如何？
• RQ3 能否利用度量正则性与误差界推导随机化投影算法的显式收敛速率？
• RQ4 随机化投影的收敛速率与线性可行性问题中病态距离之间存在何种关系？
• RQ5 平均投影方法的收敛速度是否至少不慢于均匀随机化投影方法，且该关系能否被量化？

主要发现

• 随机化坐标下降法在期望下实现线性收敛，其收敛速率受系统矩阵条件数的函数有界。
• 对于线性不等式组系统，随机化迭代投影方法在期望下实现线性收敛，其收敛速率与霍夫曼误差界相关。
• 随机化算法的收敛速率受 $1 - \frac{1}{(m-1)\bar{\gamma}^2}$ 有界，其中 $\bar{\gamma}$ 为大于真实模量 $\gamma$ 的正则性模量。
• 平均投影方法的收敛速度不快于随机化投影方法，其收敛速率受 $1 - \frac{1}{m\bar{\gamma}^2}$ 有界。
• 该分析将经典条件度量（如病态距离与艾克特-杨定理）与随机化设置下的算法收敛速率联系起来。
• 结果可推广至在度量正则性条件下的凸可行性问题，表明收敛速率依赖于正则性模量。