[论文解读] The low-rank eigenvalue problem

Yuji Nakatsukasa|arXiv (Cornell University)|May 27, 2019

Sparse and Compressive Sensing Techniques参考文献 7被引用 5

一句话总结

本文提出了一种高效算法，用于计算大型低秩矩阵 $X = AB$ 的特征值和特征向量，通过利用 $AB$ 和 $BA$ 的非零特征值相同的恒等式。通过构造更小的 $r \times r$ 矩阵 $BA$（$r \ll N$），该方法将计算成本从 $O(N^3)$ 降低至 $O(r^3)$，并通过 $w = Bv$ 实现非零特征值和特征向量的精确对应，同时刻画了 $AB$ 和 $BA$ 在零特征值处若尔当块结构的差异。主要贡献在于从 $BA$ 完整刻画 $AB$ 的若尔当结构，包括零特征值处的秩保持变换和块大小变化。

ABSTRACT

The nonzero eigenvalues of $AB$ are equal to those of $BA$: an identity that holds as long as the products are square, even when $A,B$ are rectangular. This fact naturally suggests an efficient algorithm for computing eigenvalues and eigenvectors of a low-rank matrix $X= AB$ with $A,B^T\in\mathbb{C}^{N imes r}, N\gg r$: form the small $r imes r$ matrix $BA$ and find its eigenvalues and eigenvectors. For nonzero eigenvalues, the eigenvectors are related by $ ABv = λv \Leftrightarrow BAw = λw $ with $w=Bv$, and the same holds for Jordan vectors. For zero eigenvalues, the Jordan blocks can change sizes between $AB$ and $BA$, and we characterize this behavior.

研究动机与目标

• 解决大型低秩矩阵标准特征值求解器的计算低效问题。
• 利用 $AB$ 和 $BA$ 的非零特征值相同的恒等式，实现问题规模的缩减。
• 从更小的矩阵 $BA$ 出发，完整刻画 $AB$ 的若尔当结构，包括零特征值处若尔当块大小的变化。
• 提供一种数值稳定且高效的算法，使用 $O(r^3)$ 次运算而非 $O(N^3)$ 来计算低秩矩阵的特征对。

提出的方法

• 从低秩分解 $X = AB$ 中构造小的 $r \times r$ 矩阵 $BA$，其中 $A, B^T \in \mathbb{C}^{N \times r}$，且 $N \gg r$。
• 使用标准方法计算 $BA$ 的特征值和特征向量，仅需 $O(r^3)$ 次浮点运算。
• 通过关系式 $w = Bv$ 将 $BA$ 的非零特征值和特征向量映射到 $AB$ 上，其中 $v$ 是 $BA$ 的特征向量，$w$ 是 $AB$ 的特征向量。
• 刻画零特征值处若尔当块的变换：$BA$ 中大小为 $k_i$ 的每个若尔当块在 $AB$ 中变为大小 $k_i + 1$，并新增 $N - r - \ell$ 个大小为 1 的块。
• 当 $A$ 满列秩时，利用 $A^T A$ 的 Cholesky 分解求解对称广义特征值问题 $A^T A v = \lambda S v$，以确保数值稳定性。
• 验证 $AB$ 的所得特征向量正交且构成完整分解，满足 $X = W \Lambda W^T$。

实验结果

研究问题

• RQ1 如何在不显式构造 $X$ 的情况下，高效求解大型低秩矩阵 $X = AB$ 的特征值问题？
• RQ2 对于零特征值，$AB$ 和 $BA$ 的若尔当结构之间存在何种精确关系，特别是块大小变化方面？
• RQ3 能否从 $BA$ 的特征值和特征向量中精确恢复 $AB$ 的非零特征值和特征向量？
• RQ4 当 $A$ 或 $B$ 秩不足时，对 $AB$ 和 $BA$ 的特征结构有何影响？
• RQ5 在低秩设置下，标准特征值求解器与所提方法的计算成本相比如何？

主要发现

• $AB$ 和 $BA$ 的非零特征值完全相同，包括代数重数和几何重数，从而可精确转移特征对。
• $AB$ 对应非零特征值的特征向量通过 $w = Bv$ 与 $BA$ 的特征向量关联，其中 $v$ 是 $BA$ 的特征向量，且该关系保持若尔当链结构。
• 对于零特征值，$AB$ 的几何重数为 $N - r + \ell$，其中 $\ell$ 是 $BA$ 中零特征值的几何重数，额外增加 $N - r - \ell$ 个 $1 \times 1$ 若尔当块。
• $BA$ 中零特征值处大小为 $k_i$ 的每个若尔当块在 $AB$ 中变为大小 $k_i + 1$，该结果与 Flanders 定理一致。
• $AB$ 的若尔当结构总维数被完全涵盖：来自非零特征值及变换后零特征值的 $r + \ell$ 维，以及来自新增 $1 \times 1$ 块的 $N - r - \ell$ 维。
• 该方法将计算 $AB$ 特征对的计算成本从 $O(N^3)$ 降低至 $O(r^3)$，额外增加 $2Nr^2$ 次运算用于构造 $BA$，因此在 $N \gg r$ 时极为高效。