[论文解读] Very Large-Scale Singular Value Decomposition Using Tensor Train Networks

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|Oct 25, 2014

Tensor decomposition and applications参考文献 33被引用 14

一句话总结

该论文提出ALS-SVD和MALS-SVD算法，利用张量列车（TT）格式计算大规模矩阵的主导奇异值和奇异向量。通过将矩阵和奇异向量表示为低秩TT分解，该方法将大规模SVD问题转化为具有对数复杂度的顺序小规模优化问题，从而在标准台式机上实现高达$2^{50} \times 2^{50}$矩阵的高效SVD计算，并保持高精度。

ABSTRACT

We propose new algorithms for singular value decomposition (SVD) of very large-scale matrices based on a low-rank tensor approximation technique called the tensor train (TT) format. The proposed algorithms can compute several dominant singular values and corresponding singular vectors for large-scale structured matrices given in a TT format. The computational complexity of the proposed methods scales logarithmically with the matrix size under the assumption that both the matrix and the singular vectors admit low-rank TT decompositions. The proposed methods, which are called the alternating least squares for SVD (ALS-SVD) and modified alternating least squares for SVD (MALS-SVD), compute the left and right singular vectors approximately through block TT decompositions. The very large-scale optimization problem is reduced to sequential small-scale optimization problems, and each core tensor of the block TT decompositions can be updated by applying any standard optimization methods. The optimal ranks of the block TT decompositions are determined adaptively during iteration process, so that we can achieve high approximation accuracy. Extensive numerical simulations are conducted for several types of TT-structured matrices such as Hilbert matrix, Toeplitz matrix, random matrix with prescribed singular values, and tridiagonal matrix. The simulation results demonstrate the effectiveness of the proposed methods compared with standard SVD algorithms and TT-based algorithms developed for symmetric eigenvalue decomposition.

研究动机与目标

• 解决大规模结构化矩阵奇异值分解（SVD）中的维度灾难问题。
• 为因指数复杂度而无法使用标准SVD的超大规模矩阵开发高效的SVD算法。
• 通过张量列车（TT）格式的低秩张量近似，实现主导奇异值和奇异向量的计算。
• 通过直接优化SVD迹最大化问题，克服现有基于TT的特征值分解（EVD）方法的局限性。
• 通过在迭代过程中自适应确定TT秩并使用高效的秩截断，实现高精度和可扩展性。

提出的方法

• 将大规模结构化矩阵及其奇异向量表示为张量列车（TT）格式，以实现参数量少、可扩展的计算。
• 将SVD问题表述为对正交矩阵U和V的迹最大化问题，形式为$\text{trace}(\mathbf{U}^T \mathbf{A} \mathbf{V})$，约束条件为$\mathbf{U}^T\mathbf{U} = \mathbf{V}^T\mathbf{V} = \mathbf{I}_K$。
• 应用交替最小二乘法（ALS）和改进的ALS（MALS），通过使用EIGS等标准求解器求解小规模子问题，迭代优化U和V的块。
• 在迭代过程中使用自适应秩截断，以保持低TT秩并控制计算成本，截断参数$\delta$通过收敛性和精度进行调优。
• 利用TT专用算法高效执行张量收缩，以最小化秩增长并保持矩阵规模的对数复杂度。
• 当TT秩固定时，用QR分解替代$\delta$-截断SVD，以降低计算成本。

实验结果

研究问题

• RQ1 能否利用张量列车（TT）分解高效计算大规模结构化矩阵的SVD？
• RQ2 在TT秩有界条件下，TT-based SVD的计算复杂度如何随矩阵规模变化？
• RQ3 直接优化SVD迹最大化问题能否在精度和效率上优于基于EVD的TT方法？
• RQ4 自适应TT秩选择与截断如何影响收敛性和近似精度？
• RQ5 所提出算法在Hilbert矩阵、Toeplitz矩阵、三对角矩阵以及具有指定奇异值的随机矩阵上的表现如何？

主要发现

• 所提出的ALS-SVD和MALS-SVD算法在TT秩有界条件下，实现了与矩阵规模呈对数复杂度的关系，使得在标准台式机上数秒内即可完成$2^{50} \times 2^{50}$矩阵的SVD计算。
• 由于在迭代过程中更高效地适应TT秩，MALS-SVD变体的收敛速度优于ALS-SVD。
• 对于TT秩无界的随机Toeplitz矩阵，算法仍能通过固定TT秩和受控截断获得准确的近似结果。
• 截断参数$\delta$的选择对收敛性具有关键影响：过大易导致局部极小值，过小则引起秩的快速增长并增加计算成本。
• 当$\delta_0 = \epsilon / \sqrt{N-1}$时，算法通常在3次完整扫描内收敛至目标精度，重启机制有助于逃离局部极小值。
• 所提方法在精度和计算效率方面均优于基于EVD的TT算法，尤其在矩阵TT秩较高的情况下优势更明显。