[论文解读] The Effect of Coherence on Sampling from Matrices with Orthonormal Columns, and Preconditioned Least Squares Problems

Ilse C. F. Ipsen, Thomas Wentworth|arXiv (Cornell University)|Mar 21, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文分析了从具有正交列的矩阵中进行行采样时的三种策略——无放回采样、有放回采样以及伯努利采样，推导了基于凝聚度（coherence）和杠杆度（leverage scores）的条件数界限。研究表明，采样至少 $\mathcal{O}(m\mu\ln n)$ 行可确保采样矩阵在高概率下具有良好条件性，并提出了生成具有用户指定凝聚度和杠杆度的矩阵的算法，相关结果通过 kappa_SQ_v3 工具箱得到验证。

ABSTRACT

Motivated by the least squares solver Blendenpik, we investigate three strategies for uniform sampling of rows from m x n matrices Q with orthonormal columns. The goal is to determine, with high probability, how many rows are required so that the sampled matrices have full rank and are well-conditioned with respect to inversion. Extensive numerical experiments illustrate that the three sampling strategies (without replacement, with replacement, and Bernoulli sampling) behave almost identically, for small to moderate amounts of sampling. In particular, sampled matrices of full rank tend to have two-norm condition numbers of at most 10. We derive a bound on the condition number of the sampled matrices in terms of the coherence μ of Q. This bound applies to all three different sampling strategies; it implies a, not necessarily tight, lower bound of O(m μ ln(n)) for the number of sampled rows; and it is realistic and informative even for matrices of small dimension and the stringent requirement of a 99 percent success probability. For uniform sampling with replacement we derive a potentially tighter condition number bound in terms of the leverage scores of Q. To obtain a more easily computable version of this bound, in terms of just the largest leverage scores, we first derive a general bound on the two-norm of diagonally scaled matrices. To facilitate the numerical experiments and test the tightness of the bounds, we present algorithms to generate matrices with user-specified coherence and leverage scores. These algorithms, the three sampling strategies, and a large variety of condition number bounds are implemented in the Matlab toolbox kappa_SQ_v3.

研究动机与目标

• 研究凝聚度对具有正交列的矩阵中采样子矩阵条件数的影响。
• 评估三种采样策略——无放回、有放回和伯努利采样——在生成具有良好条件性且满秩的采样子矩阵方面的表现。
• 基于凝聚度和杠杆度，推导采样子矩阵二范数条件数的紧致且可计算的界限。
• 开发用于生成具有用户指定凝聚度和杠杆度的矩阵的算法，以支持实验验证。
• 在 open-source MATLAB 工具箱 kappa_SQ_v3 中实现并测试所提出的界限与采样策略。

提出的方法

• 利用极大化（majorization）和特征值与对角元素之间的关系，推导对角加权矩阵的二范数的一般界限。
• 建立基于凝聚度 $\mu$ 的采样子矩阵条件数界限，适用于所有三种采样策略，表明为实现高成功率，采样行数需达到 $\mathcal{O}(m\mu\ln n)$ 的下限。
• 针对均匀有放回采样，利用杠杆度推导出更紧致的条件数界限，并提供基于最大杠杆度的简化版本。
• 提出一种新颖算法，用于生成具有正交列且用户指定凝聚度和杠杆度的 $m \times n$ 矩阵，基于极大化与对称矩阵构造。
• 在开源 MATLAB 工具箱 kappa_SQ_v3 中实现所有采样策略、界限及矩阵生成算法，以支持可复现实验。
• 通过在不同维度和凝聚度水平的矩阵上进行大量数值实验，验证理论界限的有效性。

实验结果

研究问题

• RQ1 凝聚度 $\mu$ 如何影响从具有正交列的矩阵中随机采样子矩阵的条件数？
• RQ2 不同的采样策略——无放回、有放回和伯努利采样——是否会对采样子矩阵的条件性产生显著不同的影响？
• RQ3 能否基于凝聚度和杠杆度，推导出采样子矩阵条件数的紧致且可计算的界限？
• RQ4 为确保采样子矩阵在高概率下具有良好条件性，最少需要采样多少行？
• RQ5 能否通过算法生成具有任意用户指定凝聚度和杠杆度的矩阵，以支持实验测试？

主要发现

• 采样子矩阵 $SQ$ 的条件数以高概率被限制在 $\mathcal{O}(m\mu\ln n)$ 以内，为实现良好条件性所需采样行数提供了理论下限。
• 数值实验表明，在小到中等采样水平下，三种采样策略——无放回、有放回和伯努利采样——的行为几乎完全相同。
• 满秩采样子矩阵的二范数条件数通常不超过 10，表明其具有极强的数值稳定性。
• 针对有放回采样，推导出基于杠杆度的更紧致条件数界限，该界限优于基于凝聚度的界限。
• 所提出的算法可生成具有用户指定凝聚度和杠杆度的矩阵，从而支持受控实验并验证理论界限。
• kappa_SQ_v3 工具箱成功实现了所有组件，包括矩阵生成、采样策略及条件数界限，支持可复现研究。