[论文解读] Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion

Shuai Zhang, Penghang Yin+1 more|arXiv (Cornell University)|Jun 14, 2015

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

该论文提出了一种变换的Schatten-1（TS1）惩罚函数，这是一种非凸的低秩促进函数，通过参数 $ a ackepsilon (0, \infty) $ 在秩和核范数之间插值。它推导出全局最小化解的闭式阈值函数和固定点表示，从而支持高效的迭代阈值算法（TS1-s1和TS1-s2），在低秩矩阵补全任务中表现优于最先进方法，尤其在真实秩已知或通过附加程序估计时表现更优。

ABSTRACT

We study a non-convex low-rank promoting penalty function, the transformed Schatten-1 (TS1), and its applications in matrix completion. The TS1 penalty, as a matrix quasi-norm defined on its singular values, interpolates the rank and the nuclear norm through a nonnegative parameter a. We consider the unconstrained TS1 regularized low-rank matrix recovery problem and develop a fixed point representation for its global minimizer. The TS1 thresholding functions are in closed analytical form for all parameter values. The TS1 threshold values differ in subcritical (supercritical) parameter regime where the TS1 threshold functions are continuous (discontinuous). We propose TS1 iterative thresholding algorithms and compare them with some state-of-the-art algorithms on matrix completion test problems. For problems with known rank, a fully adaptive TS1 iterative thresholding algorithm consistently performs the best under different conditions with ground truth matrix being multivariate Gaussian at varying covariance. For problems with unknown rank, TS1 algorithms with an additional rank estimation procedure approach the level of IRucL-q which is an iterative reweighted algorithm, non-convex in nature and best in performance.

研究动机与目标

• 开发一种非凸低秩惩罚函数，弥合秩与核范数之间的差距，以改进矩阵补全。
• 推导TS1正则化问题全局最小化解的固定点表示和闭式阈值函数。
• 基于固定点公式设计高效的迭代阈值算法（TS1-s1和TS1-s2）。
• 在不同条件和已知/未知秩设置下，评估其在低秩矩阵恢复和图像修复中的性能。
• 与最先进方法（包括IRucL-$ q $）比较TS1算法在准确性和计算速度方面的表现。

提出的方法

• 提出变换的Schatten-1（TS1）惩罚函数作为基于奇异值的矩阵拟范数，参数为 $ a \in (0, \infty) $，在 $ a \to 0 $ 时插值为秩，在 $ a \to \infty $ 时插值为核范数。
• 利用奇异值阈值法，推导出无约束TS1正则化矩阵恢复问题全局最小化解的固定点表示。
• 建立TS1阈值函数的闭式解析表达式，该函数在 $ a \leq 1 $（亚临界）时连续，在 $ a > 1 $（超临界）时不连续。
• 基于固定点方程，开发两种迭代阈值算法——TS1-s1和TS1-s2——通过在奇异值上进行类似软阈值的更新。
• 在TS1-s2中实现自适应参数选择，适用于真实秩已知的问题，提升收敛性和准确性。
• 将秩估计程序与TS1-s1结合，用于真实秩未知的问题，性能接近IRucL-$ q $。

实验结果

研究问题

• RQ1 能否设计一种在秩与核范数之间插值的非凸惩罚函数，以优于凸替代方法的方式改进低秩矩阵补全？
• RQ2 TS1惩罚函数是否对所有参数值均能获得闭式阈值函数，从而实现高效优化？
• RQ3 基于TS1的迭代阈值算法与最先进方法（如IRucL-$ q $）相比，在准确性和速度方面表现如何？
• RQ4 当真实矩阵秩已知时，TS1-s2中的自适应参数调节能否始终优于其他算法？
• RQ5 在真实秩未知的情况下，TS1-s1结合秩估计在多大程度上能匹配非凸方法IRucL-$ q $的性能？

主要发现

• 在真实秩已知的问题中，完全自适应的TS1-s2算法在所有测试分布（高斯、均匀、卡方分布）下均保持最高准确性和最快收敛速度。
• 在真实秩未知的低秩矩阵恢复任务中，TS1-s1结合秩估计的性能几乎与文献中表现最佳的非凸方法IRucL-$ q $相当。
• TS1阈值函数对所有 $ a \in (0, \infty) $ 均具有解析闭式表达，支持在所有参数范围内高效且稳健的实现。
• 当真实秩已知时，TS1-s2在计算速度和准确性方面均优于所有其他测试算法，尤其在高秩和高协方差设置下表现更优。
• 全局最小化解的固定点表示支持稳定且收敛的迭代更新，经大量数值实验验证。
• TS1算法在多种矩阵生成模型下表现稳健，包括多元正态分布、$ (0,1) $均匀分布和卡方分布。