[论文解读] Towards More Efficient SPSD Matrix Approximation and CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang+1 more|arXiv (Cornell University)|Mar 29, 2015

Stochastic Gradient Optimization Techniques参考文献 36被引用 21

一句话总结

本文提出了一种新型快速 SPSD 矩阵近似模型，实现接近线性时间复杂度的 1+ε 相对误差精度，结合了 Nyström 方法的高效性与原型模型的准确性。该方法通过优化低秩分解，改进了采样技术并求解约束最小化问题，实现了线性时间核近似和 CUR 分解。

ABSTRACT

Symmetric positive semi-definite (SPSD) matrix approximation methods have been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. The standard sketch based method, which we call the prototype model, produces relatively accurate approximations, but is inefficient on large square matrices. The Nyström method is highly efficient, but can only achieve low accuracy. In this paper we propose a novel model that we call the {\it fast SPSD matrix approximation model}. The fast model is nearly as efficient as the Nyström method and as accurate as the prototype model. We show that the fast model can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size $n$ to achieve $1+ε$ relative-error, whereas both the prototype model and the Nyström method cost at least quadratic time to attain comparable error bound. Empirical comparisons among the prototype model, the Nyström method, and our fast model demonstrate the superiority of the fast model. We also contribute new understandings of the Nyström method. The Nyström method is a special instance of our fast model and is approximation to the prototype model. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy.

研究动机与目标

• 解决原型模型效率低下以及 Nyström 方法在对称正半定（SPSD）矩阵近似中准确率低的问题。
• 开发一种新模型，实现在矩阵规模 n 上的高准确度（1+ε 相对误差）与线性时间复杂度。
• 通过避免二次时间成本，加速核方法中的特征值分解与矩阵求逆计算。
• 利用采样矩阵与低秩近似误差界，为新模型提供理论保证。
• 将该框架扩展至提升 CUR 矩阵分解的效率，同时不损失准确性。

提出的方法

• 提出一种新型快速 SPSD 矩阵近似模型，该模型同时推广了 Nyström 方法与原型模型。
• 使用采样矩阵 P 构造 C = KP ∈ ℝⁿˣᶜ，其中 C 是核矩阵 K 的列子集。
• 通过求解 min_U ||K - CU Cᵀ||_F² 优化 U，以确保高近似精度。
• 引入两阶段采样过程，使用列采样矩阵 S_C 与行采样矩阵 S_R，以降低计算成本。
• 利用随机 SVD 与杠杆度采样，确保在高概率下具有理论误差界。
• 应用矩阵集中律的理论界限，证明近似误差被限制在最佳低秩近似的 (1+ε) 倍以内。

实验结果

研究问题

• RQ1 能否设计一种新型 SPSD 矩阵近似模型，以同时实现 Nyström 方法的高效性与原型模型的准确性？
• RQ2 是否可能在矩阵规模 n 上实现线性时间内的 1+ε 相对误差近似？
• RQ3 所提出的模型与现有方法（如 Nyström 和原型模型）之间有何关系？
• RQ4 该新框架能否被扩展以加速 CUR 矩阵分解，且精度损失最小？
• RQ5 在不同采样策略下，近似误差的理论保证是什么？

主要发现

• 所提出的快速模型对 SPSD 矩阵的最佳秩-k 近似实现了 1+ε 相对误差近似，且列数 c = O(k/ε)。
• 该方法运行时间复杂度为 O(nc²)，其中 c 与 n 无关，从而实现线性时间的特征值分解与矩阵求逆。
• 结果表明，Nyström 方法是所提快速模型的一个特例，其固有精度限制源于 U 计算的次优性。
• 实验比较显示，该快速模型在准确度与效率方面均优于原型模型与 Nyström 方法。
• 理论分析表明，该误差界在标准采样方法（如杠杆度采样、均匀采样与 count sketch）下以高概率成立。
• 该框架可直接应用于加速 CUR 矩阵分解，只需将标准 SPSD 近似步骤替换为该快速模型。