[论文解读] Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization

Chen Xu, Zhouchen Lin+2 more|arXiv (Cornell University)|Nov 25, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 3

一句话总结

该论文提出了一种宽松的极大化-极小化（MM）框架，用于非光滑和非凸优化，仅要求目标函数与逼近函数之间的方向导数差在渐近意义上趋于零。该方法能够直接逼近完整的非光滑目标函数，在鲁棒矩阵分解（RMF）中性能优于最先进方法，保证收敛至驻点，并实现更优的解质量与更快的收敛速度。

ABSTRACT

We propose a new majorization-minimization (MM) method for non-smooth and non-convex programs, which is general enough to include the existing MM methods. Besides the local majorization condition, we only require that the difference between the directional derivatives of the objective function and its surrogate function vanishes when the number of iterations approaches infinity, which is a very weak condition. So our method can use a surrogate function that directly approximates the non-smooth objective function. In comparison, all the existing MM methods construct the surrogate function by approximating the smooth component of the objective function. We apply our relaxed MM methods to the robust matrix factorization (RMF) problem with different regularizations, where our locally majorant algorithm shows advantages over the state-of-the-art approaches for RMF. This is the first algorithm for RMF ensuring, without extra assumptions, that any limit point of the iterates is a stationary point.

研究动机与目标

• 解决现有MM方法对逼近函数强条件要求且仅近似光滑部分的局限性。
• 开发一种通用的MM框架，可直接逼近非光滑和非凸目标函数，无需将函数拆分为光滑与非光滑部分。
• 在无需额外假设的条件下，确保鲁棒矩阵分解（RMF）中迭代序列收敛至驻点。
• 与最先进方法相比，提升RMF中各类正则化下的解质量与收敛速度。

提出的方法

• 提出对逼近函数的宽松条件：目标函数与逼近函数之间的方向导数差在迭代次数趋于无穷时趋于零。
• 引入一种局部极大逼近函数，可直接逼近完整的非光滑目标函数，不同于以往仅逼近光滑部分的方法。
• 将宽松MM框架应用于带有ℓ1和核范数正则化的鲁棒矩阵分解（RMF），通过迭代最小化逼近函数实现。
• 采用收敛性分析，证明在宽松条件下，任意迭代序列的极限点均为驻点。
• 在RMF中采用块坐标下降策略，高效求解逼近子问题。
• 在NMF实验中，通过PCA和k-means进行初始化，以提升收敛性与解质量。

实验结果

研究问题

• RQ1 能否设计一种MM方法，直接逼近非光滑和非凸目标函数，而无需对逼近差的光滑性提出要求？
• RQ2 所提出的关于方向导数差的宽松条件是否能在非凸、非光滑设置下确保收敛至驻点？
• RQ3 在鲁棒矩阵分解中，该宽松MM方法与最先进算法相比，在解质量与收敛速度方面表现如何？
• RQ4 该方法是否能在无需额外假设的条件下，保证RMF收敛至驻点？
• RQ5 在运动追踪与人脸聚类等实际应用中，该方法的性能增益如何？

主要发现

• 所提出的宽松MM方法首次在无需额外假设的条件下，保证RMF中任意迭代序列极限点为驻点。
• 在运动追踪任务中，RMF-LMMM实现最低的相对误差（9.69），并生成视觉上闭合的圆形轨迹，优于UNuBi与RMF-GMMM。
• 在人脸聚类任务中，RMF-LMMM在AT&T数据集上达到最高准确率（0.7250）、NMI（0.8655）与纯度（0.7500），显著优于ℓ1-NMF与RMF-GMMM。
• 在CMUPIE数据集上，RMF-LMMM实现4.67的相对误差（最低）与0.4456的纯度（最高），优于所有基准方法。
• 该方法平均仅需20次迭代即收敛，显著快于ℓ1-NMF（5000次）与RMF-GMMM（500次），展现出卓越的收敛速度。
• 宽松MM框架推广了现有MM方法，允许直接逼近完整的非光滑目标函数，从而在性能上优于以往的逼近构造策略。