[论文解读] PRIMME_SVDS: A Preconditioned SVD Solver for Computing Accurately Singular Triplets of Large Matrices based on the PRIMME Eigensolver.

Lingfei Wu, Andreas Stathopoulos|arXiv (Cornell University)|Aug 23, 2014

Matrix Theory and Algorithms被引用 4

一句话总结

PRIMME_SVDS 是一种用于大规模稀疏矩阵的高精度 SVD 求解器，采用两阶段方法：首先通过求解法方程实现快速收敛，然后切换到增广矩阵的特征值问题以提高精度。它利用支持预条件的 PRIMME 特征值求解器，能够高效且稳健地计算最大和最小的奇异三元组，精度高。

ABSTRACT

Abstract. The computation of a few singular triplets of large, sparse matrices is a challenging task, especially when the smallest magnitude singular values are needed in high accuracy. Most recent efforts try to address this problem through variations of the Lanczos bidiagonalization method, but algorithmic research is ongoing and without production level software. We develop a high quality SVD software on top of the state-of-the-art eigensolver PRIMME that can take advantage of preconditioning, and of PRIMME’s nearly-optimal methods and full functionality to compute both largest and smallest singular triplets. Accuracy and efficiency is achieved through a hybrid, two-stage meta-method, primme svds. In the first stage, primme svds solves the normal equations problem up to the best achievable accuracy. If further accuracy is required, the method switches automatically to an eigenvalue problem with the augmented matrix. Thus it combines the advantages of the two stages, faster convergence and accuracy, respectively. For the augmented matrix, solving the interior eigenvalue is facilitated by a proper use of the good initial guesses from the first stage and an efficient implementation of the refined projection method. We also discuss how to precondition primme svds and to cope with some issues that arise. The method can be used with or without preconditioning, on large problems, and can be called with its full functionality from MATLAB through our MEX interface. Numerical experiments illustrate the efficiency and robustness of the method. 1. Introduction. The Singular Value Decomposition (SVD

研究动机与目标

• 为解决大规模稀疏矩阵中计算少数奇异三元组（尤其是最小奇异值）的高精度挑战。
• 开发一种生产级软件工具，支持最大和最小奇异三元组的计算。
• 将预条件技术集成到 SVD 计算中，以提升病态或大规模问题的收敛性和鲁棒性。
• 提供一种可靠、高效且功能完整的 SVD 求解器，通过 MEX 接口在 MATLAB 中可访问。

提出的方法

• 该方法采用两阶段混合策略：首先使用 PRIMME 的近似最优方法求解法方程问题，以实现快速收敛。
• 若需要更高精度，该方法会自动切换到在增广矩阵上求解特征值问题。
• 增广矩阵的特征值问题通过精化投影方法求解，初始猜测来自第一阶段的高质量结果。
• 在两个阶段均应用预条件，显著提升收敛速度和鲁棒性，尤其适用于困难或病态问题。
• 该方法充分利用 PRIMME 的完整功能，包括对对称与非对称问题的支持以及高效的迭代求解器。
• 通过 MEX 接口暴露软件功能，实现在 MATLAB 中的无缝集成，便于在科学计算工作流中使用。

实验结果

研究问题

• RQ1 结合法方程与增广矩阵特征值问题的两阶段方法，如何提升大规模稀疏矩阵 SVD 计算的精度？
• RQ2 预条件对病态或大规模问题的 SVD 求解器收敛性和鲁棒性有何影响？
• RQ3 混合方法能否在计算奇异三元组（尤其是最小奇异值）时同时实现快速收敛与高精度？
• RQ4 第一阶段获得的初始猜测如何提升第二阶段求解内部特征值问题的效率？
• RQ5 PRIMME 特征值求解器的功能在多大程度上可扩展，以提供完整功能、生产就绪的 SVD 求解器？

主要发现

• 两阶段方法通过第一阶段的快速收敛与第二阶段的高精度求解，实现了高精度。
• 该方法根据精度需求自动在两阶段间切换，确保性能与精度的最优平衡。
• 预条件显著提升了收敛速度和鲁棒性，尤其在具有聚集或极小奇异值的问题中效果明显。
• 利用第一阶段获得的高质量初始猜测，加速了第二阶段的收敛，减少了迭代次数。
• 该软件在各种大规模稀疏矩阵上表现出稳健性能，包括病态或奇异值聚集的矩阵。
• MEX 接口实现了与 MATLAB 的无缝集成，使用户能够在高级环境中充分利用 PRIMME_SVDS 的全部功能。