[论文解读] The Singular Value Decomposition, Applications and Beyond

Zhihua Zhang|arXiv (Cornell University)|Oct 29, 2015

Sparse and Compressive Sensing Techniques参考文献 148被引用 20

一句话总结

本教程系统性地综述了奇异值分解（SVD）的理论与应用，强调其在矩阵分析、低秩逼近及现代机器学习中的作用。教程引入了酉不变范数、次微分以及随机化算法（包括随机SVD和CUR分解），并证明了在矩阵维度上线性时间复杂度下，可实现具有相对误差保证的高质量低秩逼近。

ABSTRACT

The singular value decomposition (SVD) is not only a classical theory in matrix computation and analysis, but also is a powerful tool in machine learning and modern data analysis. In this tutorial we first study the basic notion of SVD and then show the central role of SVD in matrices. Using majorization theory, we consider variational principles of singular values and eigenvalues. Built on SVD and a theory of symmetric gauge functions, we discuss unitarily invariant norms, which are then used to formulate general results for matrix low rank approximation. We study the subdifferentials of unitarily invariant norms. These results would be potentially useful in many machine learning problems such as matrix completion and matrix data classification. Finally, we discuss matrix low rank approximation and its recent developments such as randomized SVD, approximate matrix multiplication, CUR decomposition, and Nystrom approximation. Randomized algorithms are important approaches to large scale SVD as well as fast matrix computations.

研究动机与目标

• 提供SVD理论及其在矩阵与数据分析中应用的系统性教程。
• 回顾SVD在大规模数据背景下机器学习与理论计算机科学中的最新进展。
• 为酉不变范数及其次微分建立理论基础，以支持更广泛的优化应用。
• 提出实用且可扩展的算法（如随机SVD与CUR分解），在保持数据结构与稀疏性的同时实现高效计算。
• 展示CUR分解如何通过实际数据列与行实现可解释性、非负性与稀疏性的低秩逼近。

提出的方法

• 利用极大化理论与对称规范函数，推导奇异值与特征值的变分原理。
• 应用矩阵微分学，重新推导经典结果，如冯·诺依曼定理与凯·樊定理。
• 通过对称规范函数表征酉不变范数，并推导其次微分，以支持机器学习中的优化问题。
• 提出具有理论保证的随机SVD算法，在Frobenius范数与谱范数下均实现相对误差界，适用于大规模矩阵计算。
• 提出一种实用的CUR分解方法，通过采样矩阵（sketching matrices）选择列与行，减少数据访问量，实现相对误差界。
• 采用近似交集矩阵的投影最小二乘解：$\tilde{\mathbf{U}} = (\mathbf{P}_C^T \mathbf{C})^\dagger (\mathbf{P}_C^T \mathbf{A} \mathbf{P}_R) (\mathbf{R}^T \mathbf{P}_R)^\dagger$，在有限矩阵访问条件下最小化Frobenius误差。

实验结果

研究问题

• RQ1 SVD如何系统性地用于推导并统一关键矩阵概念，如广义逆、Procrustes分析与子空间方法？
• RQ2 奇异值与特征值的变分原理是什么？如何通过矩阵微分学推导这些原理？
• RQ3 酉不变范数及其次微分如何表征并应用于涉及矩阵数据的优化问题？
• RQ4 随机化算法是否能在降低计算与数据访问成本的同时，实现低秩逼近的相对误差界？
• RQ5 CUR分解在保持可解释性、稀疏性与非负性方面能达到何种程度，同时实现与SVD相当的逼近质量？

主要发现

• 随机SVD在高概率下于Frobenius范数与谱范数下均实现相对误差界，支持高效的大规模矩阵计算。
• 采用自适应采样的CUR分解在期望下满足$\|\mathbf{A} - \mathbf{C} \tilde{\mathbf{U}} \mathbf{R}\|_F^2 \leq (1+\epsilon) \min_{\mathbf{U}} \|\mathbf{A} - \mathbf{C} \mathbf{U} \mathbf{R}\|_F^2$，当$c, r = \mathcal{O}(k/\epsilon)$时成立。
• 一种实用的CUR变体将数据访问量减少至仅$\mathbf{A}$的$p_c \times p_r$个条目，其中$p_c, p_r \geq \mathcal{O}(c \sqrt{\min\{m,n\}/\epsilon})$，以高概率实现相对误差。
• 交集矩阵$\tilde{\mathbf{U}}$通过投影最小二乘解计算，支持高效且可扩展的CUR逼近。
• CUR分解保持了原始矩阵的稀疏性与非负性，相比SVD的抽象基向量，能实现更具可解释性与人类可读的分解。
• 关于酉不变范数次微分的理论结果，为解决机器学习中的矩阵补全与分类问题提供了理论基础。