[论文解读] Randomized Circulant and f-circulant Preprocessing

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|Jan 22, 2015

Stochastic Gradient Optimization Techniques被引用 1

一句话总结

本文形式化证明了在对平均输入矩阵预先使用非奇异、良好条件的结构化乘子（特别是循环矩阵和f-循环矩阵）处理后，无主元高斯消去法（GENP）和分块高斯消去法（BGE）的安全性与数值安全性。研究证明，使用服从高斯分布的结构化或非结构化乘子进行随机预处理，可确保以概率1（或接近1）实现安全与数值安全执行，从而为长期存在的经验观察提供了理论依据。

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

研究动机与目标

• 为了形式化证明结构化矩阵预处理在实现无主元GENP与BGE的安全与数值稳定方面的经验成功。
• 为为何尽管经验上持续成功，但此类预处理的理论支持长期难以建立提供解释。
• 开发随机化、稀疏且结构化的乘子，以普遍确保GENP与BGE的安全性与数值安全性。
• 将该框架扩展至高斯消去法以外的其他基础矩阵计算。
• 通过在基准矩阵上的全面测试验证理论结论。

提出的方法

• 对使用循环矩阵与f-循环矩阵进行预处理时GENP与BGE行为的理论分析，证明对平均输入矩阵具有安全性。
• 证明即使在使用知名结构化乘子进行预处理后，GENP对特定输入矩阵仍存在数值不安全。
• 引入高斯结构化乘子，以实现概率1下的安全GENP与BGE。
• 使用高斯非结构化乘子及高斯结构化增强，实现以高概率达到数值安全的GENP与BGE。
• 设计并测试新型稀疏、结构化乘子，以降低计算成本同时保持安全性。
• 将该方法扩展至高斯消去法以外的其他矩阵计算，目前仍在进行中。

实验结果

研究问题

• RQ1 为何结构化预处理在实现安全GENP与BGE方面的经验成功，直到现在仍缺乏理论解释？
• RQ2 我们能否形式化证明当使用结构化乘子进行预处理时，GENP与BGE是安全且数值安全的？
• RQ3 使用服从高斯分布的结构化或非结构化乘子进行随机预处理，是否能普遍确保安全性或高概率下的数值安全性？
• RQ4 哪些类型的结构化乘子（尤其是循环与f-循环）可被用于在降低通信与计算成本的同时保持安全性？
• RQ5 该框架能否推广至高斯消去法以外的其他基础矩阵计算？

主要发现

• 即使在使用知名结构化乘子（如循环矩阵）进行预处理后，GENP与BGE对某些输入矩阵仍存在数值不安全。
• 当使用任意非奇异且良好条件的乘子进行预处理时，GENP与BGE对平均输入矩阵是安全且数值安全的。
• 高斯结构化乘子可确保以概率1实现安全的GENP与BGE。
• 高斯非结构化乘子与高斯结构化增强可实现以任意接近1的概率达到数值安全的GENP与BGE。
• 理论保证在基准矩阵上的测试中得到一致验证。
• 该框架可推广至其他基础矩阵计算，相关研究正在进行中。