[论文解读] SPSD Matrix Approximation vis Column Selection: Theories, Algorithms, and Extensions

Shusen Wang, Luo Luo+1 more|arXiv (Cornell University)|Jun 22, 2014

Matrix Theory and Algorithms参考文献 35被引用 27

一句话总结

本文提出了一种基于列选择的新型低秩逼近方法，用于对称正半定（SPSD）矩阵，在原型 SPSD 矩阵逼近模型中首次实现了最优相对误差界。该方法引入了一种谱移位技术，以在特征值衰减缓慢时提升逼近精度，具备理论保证，并为可扩展的核方法设计了高效算法。

ABSTRACT

Symmetric positive semidefinite (SPSD) matrix approximation is an important problem with applications in kernel methods. However, existing SPSD matrix approximation methods such as the Nyström method only have weak error bounds. In this paper we conduct in-depth studies of an SPSD matrix approximation model and establish strong relative-error bounds. We call it the prototype model for it has more efficient and effective extensions, and some of its extensions have high scalability. Though the prototype model itself is not suitable for large-scale data, it is still useful to study its properties, on which the analysis of its extensions relies. This paper offers novel theoretical analysis, efficient algorithms, and a highly accurate extension. First, we establish a lower error bound for the prototype model and improve the error bound of an existing column selection algorithm to match the lower bound. In this way, we obtain the first optimal column selection algorithm for the prototype model. We also prove that the prototype model is exact under certain conditions. Second, we develop a simple column selection algorithm with a provable error bound. Third, we propose a so-called spectral shifting model to make the approximation more accurate when the eigenvalues of the matrix decay slowly, and the improvement is theoretically quantified. The spectral shifting method can also be applied to improve other SPSD matrix approximation models.

研究动机与目标

• 解决现有 SPSD 矩阵逼近方法（如 Nyström 方法）缺乏强误差界的问题，这些方法因理论保证较弱而受限。
• 为基于列选择的原型 SPSD 矩阵逼近模型建立理论基础，证明其可实现最优误差界。
• 开发一种高效且可证明准确的列选择算法，针对该原型模型提供相对误差保证。
• 提出一种谱移位模型，以在特征值衰减缓慢时提升逼近精度，并从理论上量化改进效果。
• 设计原型模型的可扩展扩展，使其在降低计算与内存开销的同时保持高精度，适用于大规模核方法。

提出的方法

• 通过列选择（如均匀采样或自适应采样）构建 sketch 矩阵 C = KP，而非使用随机投影，从而减少访问的核矩阵条目数量。
• 计算交集矩阵 U* = C†K(C†)T，以最小化 Frobenius 范数误差 ||K - CUCᵀ||_F²，从而实现核矩阵的低秩逼近。
• 引入一种谱移位模型，通过重新加权核矩阵的特征值，以在特征值衰减缓慢的条件下提升逼近精度。
• 使用带有高斯矩阵 Ω 的随机 SVD 来估计前 k 个奇异值，并构建核矩阵的低秩逼近。
• 采用两阶段列选择策略：先进行均匀采样，再基于杠杆度量进行自适应采样，以提升精度。
• 证明所提出的列选择算法实现了与理论下界匹配的相对误差界，因此是最优的。

实验结果

研究问题

• RQ1 基于列选择的 SPSD 矩阵逼近模型的逼近误差是否存在理论下界？
• RQ2 能否改进现有列选择算法，使其达到理论下界，实现最优性能？
• RQ3 在何种条件下，原型 SPSD 矩阵逼近模型是精确的？
• RQ4 当核矩阵的特征值衰减缓慢时，如何提升逼近精度？
• RQ5 谱移位技术能否推广至其他 SPSD 矩阵逼近模型以提升性能？

主要发现

• 本文建立了 SPSD 矩阵逼近模型的逼近误差下界，证明任何列选择算法都无法获得优于该相对误差界的性能。
• 所提出的列选择算法实现了与理论下界匹配的相对误差界，使其成为该模型的首个最优算法。
• 当核矩阵的秩至多为 c（即所选列数）时，原型模型是精确的。
• 谱移位模型通过与谱衰减率相关的因子改善了逼近误差，改进效果以尾部特征值之和的比值形式进行量化。
• 所提算法实现了 (1 + k/√l) 倍于最佳秩-k 逼近误差的相对误差界，其中 l 为所选列数。
• 理论分析表明，前 k 个奇异值的估计误差被限制在 (k/√l) 倍于尾部奇异值范数之内，从而确保了稳定且精确的逼近。