[论文解读] Numerical Matrix Decomposition

Jun Lu|arXiv (Cornell University)|Jul 6, 2021

Matrix Theory and Algorithms参考文献 28被引用 5

一句话总结

本书全面、自成体系地探讨了数值矩阵分解方法，包括QR、SVD、CUR和LU，重点关注理论基础、计算复杂度以及在机器学习和数据科学中的现代应用。书中引入了改进的算法，以降低计算复杂度，并通过以分解为中心的视角统一了多种分解技术，为研究人员和工程师提供了严格的证明和实用见解。

ABSTRACT

In 1954, Alston S. Householder published extit{Principles of Numerical Analysis}, one of the first modern treatments on matrix decomposition that favored a (block) LU decomposition-the factorization of a matrix into the product of lower and upper triangular matrices. And now, matrix decomposition has become a core technology in machine learning, largely due to the development of the back propagation algorithm in fitting a neural network. The sole aim of this survey is to give a self-contained introduction to concepts and mathematical tools in numerical linear algebra and matrix analysis in order to seamlessly introduce matrix decomposition techniques and their applications in subsequent sections. However, we clearly realize our inability to cover all the useful and interesting results concerning matrix decomposition and given the paucity of scope to present this discussion, e.g., the separated analysis of the Euclidean space, Hermitian space, Hilbert space, and things in the complex domain. We refer the reader to literature in the field of linear algebra for a more detailed introduction to the related fields. Keywords: Existence and computing of matrix decompositions, Floating point operations (flops), Low-rank approximation, Pivot, LU/PLU decomposition, CR/CUR/Skeleton decomposition, Coordinate transformation, ULV/URV decomposition, Rank decomposition, Rank revealing decomposition, Update/downdate, Tensor decomposition.

研究动机与目标

• 本书旨在作为矩阵分解的自包含、严谨的入门教材，强调其理论和计算方面。
• 旨在弥合抽象线性代数与数据处理、优化和机器学习中实际应用之间的差距。
• 目标包括展示针对关键分解方法的新型算法改进，以降低计算复杂度。
• 通过双共轭分解和低秩逼近，将不同的分解技术统一于一个共同框架之下。
• 旨在为研究人员提供工具，通过利用分解实现降维和数值稳定性，以解决复杂的矩阵问题。

提出的方法

• 本书采用以分解为中心的方法，仅在必要时引入相关背景概念。
• 针对SVD、QR、LU和CUR等分解的存在性与性质提供了严格的证明，涵盖各种条件。
• 对计算复杂度进行了详细分析，比较了如Givens旋转和Householder反射等方法。
• 将基于梯度的优化技术（如交替最小二乘法、ADMM和块坐标下降）整合进低秩逼近框架中。
• 通过特殊的矩阵乘积和结构化分解，统一了非负矩阵分解与低秩矩阵分解。
• 讨论了CP和Tucker等张量分解与矩阵分解的关系，特别是在高阶数据分析背景下的应用。

实验结果

研究问题

• RQ1 在经典的矩阵分解算法（如SVD和QR）中，如何降低计算复杂度？
• RQ2 不同矩阵分解方法（如CUR、SVD和QR）之间的理论与实际联系是什么？
• RQ3 通过SVD和交替最小二乘法实现的低秩逼近在机器学习和推荐系统中以何种方式提升性能？
• RQ4 秩揭示和结构化分解（如ULV、URV）如何增强数值稳定性和可解释性？
• RQ5 双共轭分解在统一多种矩阵分解技术中起到什么作用？

主要发现

• 本书提出了改进的矩阵分解算法，通过优化SVD和CUR的实现，显著降低了计算复杂度。
• 通过双共轭分解建立了一个统一的矩阵分解框架，将看似不同的方法联系起来。
• 从多个视角提供了存在性证明，适用于不同的矩阵条件和前提假设。
• 通过SVD和交替最小二乘法实现的低秩逼近在图像压缩和电影推荐系统中被证明是有效的。
• 条件数分析表明，矩阵或右端项的扰动受cond(A)的限制，且在小扰动下可获得更紧的界，支持数值稳定性。
• CP和Tucker等张量分解与矩阵分解相关联，通过低秩逼近实现了高阶数据分析。