[论文解读] Randomized Augmentation and Additive Preprocessing

Victor Y. Pan, Guoliang Qian+1 more|arXiv (Cornell University)|Dec 18, 2014

Face and Expression Recognition参考文献 1被引用 2

一句话总结

本文提出通过高斯分布、稀疏或结构化随机矩阵的随机增强和加法预处理，降低病态矩阵的条件数。通过追加或添加固定秩的缩放随机矩阵，该方法显著改善了矩阵的条件性，从而提升了低秩逼近、奇异子空间计算和块对角化的效果，即使使用稀疏或结构化预处理器，也表现出强劲的实证性能。

ABSTRACT

Random matrices tend to be well conditioned, and so one can expect that appending prop-erly scaled random rows and columns or adding a scaled random matrix of a fixed rank can decrease the condition number of an ill conditioned matrix. We prove probabilistic estimates for this decrease by using Gaussian random matrices as the preprocessors, but our tests showed equally strong impact on the condition numbers in the case where the preprocessors were ran-dom sparse and structured matrices, defined by much fewer random parameters. For sample applications of randomized preprocessing to matrix computations, we precondition an ill condi-tioned matrix, approximate its singular spaces associated with its largest and smallest singular values, approximate this matrix with low-rank matrices, and yield its 2 × 2 block diagonaliza-tion. Combining our present techniques with randomized matrix multiplication (which we study

研究动机与目标

• 解决病态矩阵在矩阵计算中导致的数值不稳定性和精度下降问题。
• 探究随机增强或加法预处理是否能有效降低矩阵条件数。
• 评估不同类型随机预处理器（高斯、稀疏和结构化）在降低条件数方面的性能。
• 将所提出的预处理方法应用于低秩逼近和块对角化等实际矩阵计算任务。

提出的方法

• 使用高斯随机矩阵作为预处理器，通过追加行/列或加到原始矩阵上，并进行适当缩放以改善条件性。
• 基于随机矩阵理论，通过理论估计分析条件数的概率性降低。
• 测试替代性预处理器，如稀疏和结构化随机矩阵，这些预处理器所需随机参数更少，但可实现相当的条件数降低效果。
• 将预处理技术应用于近似与最大和最小奇异值对应的奇异子空间。
• 利用预处理后的矩阵计算低秩逼近并执行2×2块对角化。
• 将预处理方法与随机矩阵乘法技术结合，以提升计算效率。

实验结果

研究问题

• RQ1 随机增强或加法预处理能否显著降低病态矩阵的条件数？
• RQ2 高斯随机预处理器在条件数降低方面与稀疏或结构化随机矩阵相比表现如何？
• RQ3 预处理在多大程度上提升了低秩矩阵逼近的准确性？
• RQ4 该方法能否可靠地近似对应于最大和最小奇异值的奇异子空间？
• RQ5 预处理与随机矩阵乘法结合后，如何提升计算效率和稳定性？

主要发现

• 通过高斯随机矩阵进行随机预处理，可实现显著且可概率估计的矩阵条件数降低。
• 尽管稀疏和结构化随机矩阵所需随机参数更少，但其在条件数降低方面与高斯预处理器效果相当。
• 该方法可准确近似病态矩阵中与最大和最小奇异值相关的奇异子空间。
• 与未经预处理的方法相比，预处理后矩阵的低秩逼近在准确性和稳定性方面均有显著提升。
• 通过使用随机预处理，矩阵的2×2块对角化得以有效实现。
• 将随机预处理与随机矩阵乘法结合，可在保持数值鲁棒性的同时显著提升计算效率。