[论文解读] The spectral norm error of the naive Nystrom extension

Alex Gittens|arXiv (Cornell University)|Oct 24, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用 51

一句话总结

本文首次为朴素Nyström扩展建立了相对误差谱范数界，这是一种通过无放回均匀随机采样列的低秩逼近方法。通过将Nyström扩展与列子集选择问题联系起来，并应用无放回采样下的矩阵切尔诺夫不等式，作者推导出一个谱误差界，该界在矩阵具有快速衰减谱且采样足够充分时可保证相对误差。

ABSTRACT

The naive Nystrom extension forms a low-rank approximation to a positive-semidefinite matrix by uniformly randomly sampling from its columns. This paper provides the first relative-error bound on the spectral norm error incurred in this process. This bound follows from a natural connection between the Nystrom extension and the column subset selection problem. The main tool is a matrix Chernoff bound for sampling without replacement.

研究动机与目标

• 为通过无放回均匀随机采样列的朴素Nyström扩展提供首个相对误差谱范数界。
• 建立Nyström扩展与列子集选择问题之间的理论基础。
• 推导一个谱范数误差界，确保在谱快速衰减条件下，低秩逼近中的误差为相对误差。
• 验证朴素Nyström扩展在谱图像分割等应用中近似主导不变子空间的有效性。

提出的方法

• 该方法通过建立Nyström扩展与列子集选择问题之间的联系，将逼近误差表述为谱范数形式。
• 应用无放回采样下的矩阵切尔诺夫不等式，以控制误差矩阵的谱范数。
• 分析依赖于利用相干性与随机矩阵理论对采样子矩阵的逆进行有界控制。
• 一个关键引理对采样子矩阵的伪逆的谱范数进行有界控制，确保其以高概率满行秩。
• 证明利用Davis–Kahan sin Θ 定理，将谱误差与子空间逼近质量相关联。
• 该框架将基于相干性的精确恢复结果推广至提供相对误差保证。

实验结果

研究问题

• RQ1 尽管采样方式与数据无关，是否能为朴素Nyström扩展建立相对误差谱范数界？
• RQ2 朴素Nyström扩展的谱误差如何随采样列数与矩阵相干性的变化而变化？
• RQ3 在何种谱与采样规模条件下，可确保逼近误差相对于目标矩阵的特征值为相对误差？
• RQ4 无放回采样下的矩阵切尔诺夫不等式能否有效应用于分析Nyström型低秩逼近？

主要发现

• 本文建立了如下形式的相对误差谱范数界：\|A - C W† C^T\|_2 ≤ λ_{k+1}(A)(1 + n/(εℓ))，且该界以高概率成立。
• 当采样列数 ℓ 满足 ℓ ≥ (2τ / (1−ε)²) k log(k/δ) 时，该界成立，其中 τ 为主导子空间的相干性。
• 该结果保证逼近误差相对于第 (k+1) 个特征值，因此在谱快速衰减时具有有效性。
• 该方法确保采样子矩阵 W 以高概率满秩，从而支持稳定伪逆计算。
• 分析结果确认，当特征值间隙足够大时，朴素Nyström扩展可对主导 k 维不变子空间产生高质量逼近。