[论文解读] Restricted Low-Rank Approximation via ADMM

Ying Zhang|arXiv (Cornell University)|Dec 6, 2015

Sparse and Compressive Sensing Techniques参考文献 2被引用 4

一句话总结

本文提出了一种基于ADMM的受限低秩矩阵逼近（RLRA）算法，针对凸约束条件，将非凸问题重构为ADMM友好的子问题，可精确且高效求解。在适当条件下，该方法实现指数收敛，并在低秩逼近与图像去噪任务中优于现有方法。

ABSTRACT

The matrix low-rank approximation problem with additional convex constraints can find many applications and has been extensively studied before. However, this problem is shown to be nonconvex and NP-hard; most of the existing solutions are heuristic and application-dependent. In this paper, we show that, other than tons of application in current literature, this problem can be used to recover a feasible solution for SDP relaxation. By some sophisticated tricks, it can be equivalently posed in an appropriate form for the Alternating Direction Method of Multipliers (ADMM) to solve. The two updates of ADMM include the basic matrix low-rank approximation and projection onto a convex set. Different from the general non-convex problems, the sub-problems in each step of ADMM can be solved exactly and efficiently in spite of their non-convexity. Moreover, the algorithm will converge exponentially under proper conditions. The simulation results confirm its superiority over existing solutions. We believe that the results in this paper provide a useful tool for this important problem and will help to extend the application of ADMM to the non-convex regime.

研究动机与目标

• 解决具有凸约束的非凸、NP难受限低秩矩阵逼近（RLRA）问题的挑战。
• 为RLRA开发一种高效且理论基础坚实的算法，利用增广拉格朗日乘子法（ADMM）。
• 即使在整体问题非凸的情况下，仍能实现子问题的精确与高效求解。
• 在矩阵恢复与图像去噪等实际应用中，利用部分先验知识，验证所提方法的有效性。
• 在对偶变量收敛的假设下，提供收敛行为的理论洞察，并通过实证验证性能优越性。

提出的方法

• 通过变量分裂与增广拉格朗日方法，将带有凸约束的RLRA问题重构为等价的ADMM兼容形式。
• 将ADMM子问题分解为两部分：(1) 通过截断奇异值分解（SVD）实现低秩逼近，(2) 投影到凸约束集上。
• 确保两个子问题均可解析求解或通过高效数值方法求解，从而在非凸问题下实现精确更新。
• 引入惩罚参数 $\rho$ 以平衡收敛速度与解的质量，并通过实证分析其影响。
• 将该算法应用于非负矩阵分解（NMF）与已知像素值的图像去噪等任务。
• 基于对偶变量收敛的收敛性分析，表明在该条件下，原始变量迭代收敛至驻点。

实验结果

研究问题

• RQ1 尽管具有NP难性质，是否能通过ADMM有效求解具有凸约束的非凸受限低秩矩阵逼近问题？
• RQ2 所提出的基于ADMM的算法在何种条件下实现指数收敛？
• RQ3 惩罚参数 $\rho$ 在实践中如何影响收敛速度与解的质量？
• RQ4 该算法是否能在矩阵恢复与图像去噪任务中超越现有启发式方法与凸松弛方法？
• RQ5 在此非凸ADMM框架下，对偶变量收敛与原始变量收敛之间的理论关系为何？

主要发现

• 所提出的ADMM-RLRA算法在对偶变量收敛的条件下，实现指数收敛。
• 在低秩逼近任务中，该算法始终优于现有方法，尤其在 $K=10$ 时，NMF方法无法收敛，而本方法表现优异。
• 在5%像素值已知的图像去噪任务中，ADMM-RLRA方法达到PSNR为12.895、SNR为11.504，性能近乎为截断SVD（PSNR: 8.675）的两倍。
• 较大的 $\rho$ 值可加快收敛速度，但导致目标函数值性能下降，表明速度与精度之间存在权衡。
• 当 $\rho = 5, 9, 15$ 时，残差 $\|\mathbf{X}-\mathbf{Y}\|_F$ 收敛至零，但当 $\rho = 1$ 时无法收敛，凸显 $\rho$ 的关键作用。
• 该算法在整个迭代过程中保持可行性，一旦达到可行解，目标函数值即保持恒定，表明其具有稳定的收敛行为。