[论文解读] Numerically Safe Gaussian Elimination with No Pivoting

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|Jan 22, 2015

Stochastic Gradient Optimization Techniques参考文献 35被引用 3

一句话总结

本文通过随机和结构化预条件化，为无主元高斯消去法（GENP）提供了形式化的理论支持。证明了当使用高斯随机矩阵或特定结构化乘子预处理时，GENP在高概率下具有普遍安全性和数值安全性，解决了长期存在的经验观察与理论理解之间的差距，并为稠密矩阵的快速、通信避免型线性系统求解器铺平了道路。

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

研究动机与目标

• 为无主元高斯消去法（GENP）在预处理矩阵上应用时的经验成功提供形式化的理论依据。
• 解决长期存在的问题：即GENP在结构化预条件化下的数值安全性，其经验观察与理论理解之间存在差距。
• 开发并测试新型稀疏、结构化乘子，确保GENP的安全性与数值安全性。
• 利用随机高斯乘子，为GENP建立普遍安全性与高概率数值安全性，适用于任意非奇异、良好条件的输入矩阵。
• 将该方法扩展至其他基础矩阵计算任务，包括低秩逼近与奇异子空间计算。

提出的方法

• 证明了当使用任意非奇异、良好条件的乘子对输入矩阵进行预处理时，GENP在高斯概率分布下对平均输入矩阵是安全且数值安全的。
• 表明使用高斯随机矩阵进行预处理可确保对任意非奇异输入矩阵的普遍安全性（概率为1）与高概率数值安全性。
• 引入并测试了新型稀疏、结构化乘子（如高斯子循环矩阵、SRFT增强）在保持数值安全性方面的有效性。
• 通过加性扰动（C = A - UV^T）的随机预处理方法，使用高斯子循环矩阵U和V来稳定GENP。
• 利用Sherman-Morrison-Woerdeman（SMW）公式在预处理后高效计算解。
• 通过[BDHT13]中的基准矩阵及标准线性代数测试用例的大量数值实验验证了结果。

实验结果

研究问题

• RQ1 为何无主元高斯消去法在应用于预处理矩阵时，经验上表现出数值安全性，尽管缺乏正式证明？
• RQ2 我们能否正式证明GENP在结构化预条件化下对一大类输入矩阵具有数值安全性？
• RQ3 使用随机高斯矩阵进行预处理是否能对任意非奇异输入矩阵普遍确保安全性与高概率数值安全性？
• RQ4 哪些类型的稀疏、结构化乘子可用于在降低计算与通信开销的同时保持数值安全性？
• RQ5 通过结构化随机矩阵（如子循环矩阵）进行加性预处理，能否在不使用主元的情况下实现高数值精度？

主要发现

• 当使用高斯随机矩阵作为左乘或右乘进行预处理时，GENP对任意非奇异输入矩阵均具有普遍安全性（概率为1）。
• 当使用非结构化高斯乘子或高斯结构化增强进行预处理时，GENP具有接近于1的高概率数值安全性。
• 对于平均输入矩阵，当使用任意非奇异、良好条件的乘子在高斯分布下进行预处理时，GENP既安全又具有数值安全性。
• 数值测试表明，预处理后的GENP在n=128–1024范围内，相对残差范数低于1e-10，经一次修正后误差降至1e-14量级。
• 使用高斯子循环矩阵（U, V）进行加性预处理，n=128时相对残差范数均值为1.47e-10，n=1024时为9.87e-14，经一次修正迭代后。
• 该方法使[KS91]中提出的双侧预处理技术实现4倍加速，显著提升了实际效率。