[论文解读] Smoothed Analysis of the Condition Numbers and Growth Factors of Matrices

Arvind Sankar, Daniel A. Spielman+1 more|ArXiv.org|Oct 12, 2003

Random Matrices and Applications参考文献 14被引用 4

一句话总结

本文提出了一种平滑分析框架，表明任意矩阵的随机扰动在未经选主元的高斯消去法下极不可能出现大的条件数或高的增长因子。关键结果是，通常仅需对数精度——具体而言，O(b + log n) 位——即可准确求解线性系统，从而解释了尽管存在最坏情况下的理论限制，高斯消去法为何在实践中表现良好。

ABSTRACT

Let $\orig{A}$ be any matrix and let $A$ be a slight random perturbation of $\orig{A}$. We prove that it is unlikely that $A$ has large condition number. Using this result, we prove it is unlikely that $A$ has large growth factor under Gaussian elimination without pivoting. By combining these results, we bound the smoothed precision needed by Gaussian elimination without pivoting. Our results improve the average-case analysis of Gaussian elimination without pivoting performed by Yeung and Chan (SIAM J. Matrix Anal. Appl., 1997).

研究动机与目标

• 解释为何无选主元的高斯消去法在实践中表现良好，尽管其最坏情况时间复杂度较差。
• 分析在小幅度随机扰动下，矩阵出现大条件数和高增长因子的可能性。
• 确立求解线性系统所需的平滑精度为对数级别，从而弥合理论与实践之间的差距。
• 通过引入噪声扩展先前的平均情况分析，使结果对现实世界输入变化更具鲁棒性。
• 为部分或完全选主元的高斯消去法的平滑分析奠定基础。

提出的方法

• 采用平滑分析——一种最坏情况与平均情况分析的混合方法——研究算法在轻微扰动输入下的期望性能。
• 分析在任意矩阵 $\bar{\mathbf{A}}$ 上施加高斯扰动后，条件数 $\kappa(\mathbf{A}) = \|\mathbf{A}\|_2 \|\mathbf{A}^{-1}\|_2$ 的行为。
• 证明当 $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 且高斯噪声方差 $\sigma^2 \leq 1$ 时，$\kappa(\mathbf{A}) \geq x$ 的概率被限制为 $O(n / (x\sigma))$。
• 将条件数的界与无选主元高斯消去法中的增长因子联系起来，表明在扰动下大增长因子出现的可能性很低。
• 推导出，由于中间项出现大值的可能性较低，求解 $\mathbf{A}\mathbf{x} = \mathbf{b}$ 仅需 $O(b + \log n)$ 位精度，其中 $b$ 为输入精度。
• 考虑保持零结构的扰动以及对称矩阵结构，表明在这些约束下，某些病态矩阵仍可能保持病态性或高增长因子。

实验结果

研究问题

• RQ1 略微扰动后的矩阵出现大条件数的概率是多少？
• RQ2 在扰动矩阵上，无选主元的高斯消去法产生大增长因子的可能性有多大？
• RQ3 平滑分析能否解释高斯消去法尽管存在最坏情况复杂度，却在实践中表现出鲁棒性的原因？
• RQ4 保持零结构的扰动是否会保留非对称或对称矩阵中的病态性或高增长因子？
• RQ5 在部分或完全选主元下，增长因子的平滑界是什么？与无选主元的情况相比如何？

主要发现

• 当 $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 且 $\sigma^2 \leq 1$ 时，任意矩阵 $\bar{\mathbf{A}}$ 的高斯扰动矩阵 $\mathbf{A}$ 满足 $\kappa(\mathbf{A}) \geq x$ 的概率被限制为 $O(n / (x\sigma))$。
• 对于满足 $\|\bar{\mathbf{A}}\|_2 \leq \sqrt{n}$ 的矩阵，其平滑条件数超过 $x$ 的概率为 $O(n \log n / (x\sigma))$。
• 由于中间项出现大值的可能性较低，无选主元高斯消去法在扰动矩阵上出现大增长因子的可能性很低。
• 无选主元高斯消去法所需的平滑精度为 $O(b + \log n)$ 位，其中 $b$ 为输入精度，这解释了其实际效率。
• 反例表明，保持零结构的扰动可能在非对称矩阵中保留病态性，或在结构化矩阵中保留大增长因子。
• Wschebor 的改进界表明，在类似条件下 $\Pr[\kappa(\mathbf{A}) \geq x] \leq O(n \log n / (x\sigma))$，支持了 $O(n / (x\sigma))$ 为紧致边界的猜想。