[论文解读] Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Feb 27, 2018

Sparse and Compressive Sensing Techniques被引用 30

一句话总结

本文提出了两种易于处理的Schatten准范数近似——双迹（Bi-tr）与三迹（Tri-tr），分别在数学上等价于Schatten-1/2与Schatten-1/3准范数。通过使用这些范数重新表述低秩矩阵恢复问题，该方法通过在因子矩阵上进行更小规模的SVD运算，显著降低了计算成本，从而实现了高效且具有收敛性保证的线性化交替最小化算法，在大规模矩阵补全与RPCA任务中相比当前最先进方法展现出更优的可扩展性。

ABSTRACT

The Schatten quasi-norm was introduced to bridge the gap between the trace norm and rank function. However, existing algorithms are too slow or even impractical for large-scale problems. Motivated by the equivalence relation between the trace norm and its bilinear spectral penalty, we define two tractable Schatten norms, i.e.\\ the bi-trace and tri-trace norms, and prove that they are in essence the Schatten-$1/2$ and $1/3$ quasi-norms, respectively. By applying the two defined Schatten quasi-norms to various rank minimization problems such as MC and RPCA, we only need to solve much smaller factor matrices. We design two efficient linearized alternating minimization algorithms to solve our problems and establish that each bounded sequence generated by our algorithms converges to a critical point. We also provide the restricted strong convexity (RSC) based and MC error bounds for our algorithms. Our experimental results verified both the efficiency and effectiveness of our algorithms compared with the state-of-the-art methods.

研究动机与目标

• 解决现有Schatten准范数最小化算法因在每次迭代中依赖完整SVD而导致的高计算成本问题。
• 为低秩矩阵恢复开发易于处理、可扩展的非凸Schatten-1/2与Schatten-1/3准范数替代方案。
• 建立基于矩阵分解的重表述方法，将大规模SVD运算替换为更小、更高效的计算。
• 为所提出的公式设计高效且具有收敛性保证的线性化交替最小化算法。
• 提供理论误差界，并在大规模矩阵补全与鲁棒PCA任务中展示优越性能。

提出的方法

• 定义两种新范数——双迹（Bi-tr）与三迹（Tri-tr），分别在数学上等价于Schatten-1/2与Schatten-1/3准范数。
• 证明通过矩阵分解，最小化Bi-tr与Tri-tr范数等价于最小化Schatten-1/2与Schatten-1/3准范数。
• 使用因子矩阵重述低秩恢复问题，将SVD计算从完整数据矩阵缩减为更小的矩阵。
• 设计两种用于求解Bi-tr与Tri-tr公式的线性化交替最小化算法，并建立其收敛至临界点的理论保证。
• 引入基于限制强凸性（RSC）与矩阵补全（MC）的误差界，以分析算法性能。
• 在合成数据与真实世界推荐数据集上实现并比较算法，采用IRLS、IRNN、LRMF与LMaFit等标准基线方法。

实验结果

研究问题

• RQ1 我们能否开发一种可扩展的非凸替代方案，以替代迹范数，更精确地逼近秩函数，同时避免高昂的计算成本？
• RQ2 是否存在Schatten-1/2与Schatten-1/3准范数的基于矩阵分解的等价公式，可避免在大矩阵上进行完整SVD运算？
• RQ3 我们能否为这些新公式设计高效且收敛的算法，使其可扩展至大规模问题，如矩阵补全与RPCA？
• RQ4 在合成数据与真实世界数据上，所提出的Bi-tr与Tri-tr方法在准确率与速度方面相较于当前最先进方法（如IRLS、IRNN与LRMF）表现如何？
• RQ5 我们能否为所提出的算法建立理论保证，如收敛性与误差界？

主要发现

• Bi-tr与Tri-tr范数分别在数学上等价于Schatten-1/2与Schatten-1/3准范数，从而支持精确的低秩逼近。
• 所提出的算法在收敛速度与运行时间方面显著优于IRLS与IRNN，尤其在大规模矩阵（如50k×50k）上，IRLS与IRNN在48小时内无法完成计算。
• 在200×200的合成噪声矩阵上，Bi-tr与Tri-tr方法的重建均方误差（RSE）低于NNLS、ALT、LRMF与LMaFit，且与IRLS、IRNN性能相当或更优。
• 在真实世界推荐数据集（MovieLens1M至Netflix）上，所提方法在速度上除LMaFit外优于所有基线方法，同时实现了显著更低的RMSE，展现出更高的准确率与可扩展性。
• 理论分析表明，算法生成的有界序列收敛至临界点，且建立了基于RSC与MC的误差界，支持稳健恢复的理论保障。
• 正则化参数μ设置为√max(m,n)，与先前工作一致；合成数据的给定秩d设为⌊1.25r⌋，真实数据集则设为50，以确保公平比较。