[论文解读] Uniform bounds for invariant subspace perturbations

Anil Damle, Yuekai Sun|arXiv (Cornell University)|May 20, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用 6

一句话总结

本文利用一种逐行度量（具体为两到无穷范数）推导了不变子空间扰动的新确定性界，表明在扰动与特征向量非一致时，此类界可显著优于传统的谱范数或Frobenius范数界。关键贡献在于，对对称矩阵及其扰动版本的特征向量之间的逐行距离，给出了一个精确且显式的上界，该界在结构化设定下优于经典的Davis-Kahan型结果。

ABSTRACT

For a fixed symmetric matrix A and symmetric perturbation E we develop purely deterministic bounds on how invariant subspaces of A and A+E can differ when measured by a suitable "row-wise" metric rather than via traditional measures of subspace distance. Understanding perturbations of invariant subspaces with respect to such metrics is becoming increasingly important across a wide variety of applications and therefore necessitates new theoretical developments. Under minimal assumptions we develop new bounds on subspace perturbations under the two-to-infinity matrix norm and show in what settings these row-wise differences in the invariant subspaces can be significantly smaller than the analogous two or Frobenius norm differences. We also demonstrate that the constitutive pieces of our bounds are necessary absent additional assumptions and, therefore, our results provide a natural starting point for further analysis of specific problems. Lastly, we briefly discuss extensions of our bounds to scenarios where A and/or E are non-normal matrices.

研究动机与目标

• 为解决对通过逐行范数而非谱范数或Frobenius范数衡量子空间差异的扰动理论日益增长的需求。
• 为对称扰动下不变子空间正交基差的两到无穷范数提供精确的确定性界。
• 证明在最小假设下这些界是必要且最优的，无需额外结构或随机模型假设。
• 将框架扩展至非正规矩阵，展示其在对称设定之外的适用性。

提出的方法

• 推导了对称矩阵及其扰动版本的主导不变子空间正交基之间差的两到无穷范数的界。
• 采用 $ A $ 和 $ E $ 的块矩阵分解，将矩阵划分为对应于主导和补全谱分量的块。
• 通过正交Procrustes问题应用扰动展开，并构造一个非线性矩阵方程的根，以控制不变子空间基中的残差误差。
• 对矩阵方程 $ G:Y \to -V_2\widetilde{A}_{2,1} + Y\widetilde{A}_{1,1} - V_2\widetilde{A}_{2,2}V_2^T Y + Y\widetilde{A}_{1,2}V_2^T Y $ 进行精细化分析，其解控制了子空间基中的扰动。
• 利用间隙 $ \text{gap} $ 和广义分离度 $ \text{sep}_2(\Lambda_1, \Lambda_2) $ 来量化谱分离度，并控制扰动问题的条件数。
• 通过证明在无额外假设下界的各组成部分无法改进，从而确立了这些界是必要的。

实验结果

研究问题

• RQ1 我们能否为对称矩阵及其扰动的不变子空间之间的逐行距离推导出显著优于经典界的确定性界？
• RQ2 扰动与特征向量的非一致性如何影响此类界之紧致性？
• RQ3 在何种条件下，子空间差的两到无穷范数可明显小于Davis-Kahan理论给出的谱范数界？
• RQ4 所提界中的各个组成部分是否必要，还是可在无额外假设下进一步改进？
• RQ5 该框架能否扩展至非正规矩阵？其中的关键挑战是什么？

主要发现

• 本文建立了如下形式的界：$ \min_{s=\pm1} \|\widehat{v} - s v\|_\infty \leq 8\|v\|_\infty \frac{\|Ev\|_2^2}{\lambda^2} + 2\zeta \frac{\|Ev\|_\infty}{\lambda} + 4\zeta \frac{\|Ev\|_2}{\lambda^2} \max_i \|E_{i,:}\|_2 $，其中 $ \zeta = \|I - vv^T\|_\infty $，适用于秩-1扰动的情形。
• 该界在 $ E $ 与 $ v $ 非一致（即行范数均匀偏小）时，可显著小于经典Davis-Kahan界（其行为类似 $ \|Ev\|_2 / \lambda $）。
• 在最小假设下，界中各组成部分被证明是必要的，意味着在无进一步结构约束下无法改进该界。
• 对于高秩子空间，本文推导出涉及 $ \|V_2 E_{2,2} V_2^T\|_{2,\infty} $、$ \|E_{2,1}\|_2 $、谱间隙与分离常数的界，该界捕捉了非对角块扰动的影响。
• 分析表明，子空间差的两到无穷范数受扰动的逐行结构与矩阵谱结构之间相互作用的控制。
• 该框架被扩展至非正规矩阵，界中包含如 $ \|V_2 E_{2,2} V_2^T \widehat{Y}\|_{2,\infty} / \text{gap} $ 等项，且证明依赖于求解残差矩阵 $ \widehat{Y} $ 的非线性矩阵方程。