[论文解读] Perturbations of CUR Decompositions

Keaton Hamm, Longxiu Huang|arXiv (Cornell University)|Aug 21, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用 5

一句话总结

本文对任意噪声下的CUR分解进行了全面的扰动分析，推导了多种CUR变体在Schatten p-范数下的界。结果表明，CUR分解中的秩约束缺乏一种标准的最优方法——这与Nyström方法中的发现相反——同时提出了一种新型基于投影的秩截断技术，在实验中表现出良好的性能。

ABSTRACT

The CUR decomposition is a factorization of a low-rank matrix obtained by selecting certain column and row submatrices of it. We perform a thorough investigation of what happens to such decompositions in the presence of noise. Since CUR decompositions are non-uniquely formed, we investigate several variants and give perturbation estimates for each in terms of the magnitude of the noise matrix in a broad class of norms which includes all Schatten $p$--norms. The estimates given here are qualitative and illustrate how the choice of columns and rows affects the quality of the approximation, and additionally we obtain new state-of-the-art bounds for some variants of CUR approximations.

研究动机与目标

• 为各种CUR分解变体在任意噪声矩阵下的扰动分析提供全面的分析。
• 在包括所有Schatten p-范数在内的广泛矩阵范数类中建立通用的误差界。
• 研究在CUR分解中是否存在一种用于秩约束的规范方法，与Nyström方法中的已知结果进行对比。
• 开发并评估一种新的CUR近似秩截断方法，以提高对噪声的鲁棒性。
• 通过定性和定量的界，说明列和行选择策略如何影响近似质量。

提出的方法

• 推导了多种CUR分解变体（包括 $ A = C U^lat R $ 和 $ A = C C^lat A R^lat R $）的扰动界，使用的是归一化、酉不变且次乘性的矩阵范数。
• 将SVD和Moore–Penrose广义逆的经典扰动理论类比应用于CUR分解，扩展了Stewart的框架。
• 分析了最大体积子矩阵作为列和行选择策略，其界比现有线性代数结果更紧。
• 提出了一种新型秩截断方法：$ ilde{C}_k ilde{C}_k^lat ilde{A} ilde{R}_k^lat ilde{R}_k $，该方法将矩阵投影到所采样列和行的张成空间上。
• 在合成矩阵和结构化矩阵（如Hilbert矩阵）上对新方法进行了实验评估，与标准CUR和基于Nyström的近似方法进行比较。
• 结合理论分析与数值实验，验证了所提近似方法在不同噪声水平和采样模式下的鲁棒性与准确性。

实验结果

研究问题

• RQ1 不同CUR分解变体在任意矩阵扰动下的行为如何？其在Schatten p-范数下的对应误差界是什么？
• RQ2 是否存在一种可证明最优的方法来对一般矩阵实施CUR分解中的秩约束，而非仅限于对称正定矩阵？
• RQ3 列和行采样策略的选择（尤其是最大体积采样）如何影响噪声下CUR近似的稳定性和准确性？
• RQ4 基于投影的CUR分解秩截断方法是否能在鲁棒性和近似质量方面优于标准方法？
• RQ5 理论扰动界在结构化和非结构化矩阵上的表现与实际性能在多大程度上一致？

主要发现

• 本文在所有Schatten p-范数下为多种CUR分解变体建立了通用的扰动界，为噪声敏感性提供了统一的理论框架。
• 对于最大体积子矩阵，推导出的界优于现有线性代数文献中的结果，提供了更紧致且更直观的估计。
• 研究发现，在一般CUR分解中并不存在一种规范的秩约束方法——这与Nyström方法在SPSD矩阵中的发现相反。
• 所提出的基于投影的秩截断方法 $ ilde{C}_k ilde{C}_k^lat ilde{A} ilde{R}_k^lat ilde{R}_k $ 在实验中表现出具有竞争力的性能，尤其在小规模超采样时。
• 实验表明，该新方法在SPSD和非结构化情况下均优于标准CUR和基于Nyström的近似方法，这是由于其在噪声下具有更好的子空间对齐能力。
• 最大体积采样在最小超采样下即可实现良好精度，而勒贝格采样虽然计算成本更低，但需要更多列才能达到相近精度。