[论文解读] On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems

Yangyang Kang, Zhihua Zhang+1 more|arXiv (Cornell University)|Apr 29, 2015

Sparse and Compressive Sensing Techniques参考文献 2被引用 7

一句话总结

本文通过利用Kurdyka-Łojasiewicz（KŁ）不等式，建立了非凸优化中Majorization Minimization（MM）算法的全局收敛性。证明了当目标函数满足KŁ性质时（这在许多非凸机器学习问题中很常见），MM迭代收敛到一个临界点，从而将收敛性保证从凸设置扩展到CCCP和迭代重加权ℓ₁最小化等流行方法。

ABSTRACT

In this paper, we study the global convergence of majorization minimization (MM) algorithms for solving nonconvex regularized optimization problems. MM algorithms have received great attention in machine learning. However, when applied to nonconvex optimization problems, the convergence of MM algorithms is a challenging issue. We introduce theory of the Kurdyka- Lojasiewicz inequality to address this issue. In particular, we show that many nonconvex problems enjoy the Kurdyka- Lojasiewicz property and establish the global convergence result of the corresponding MM procedure. We also extend our result to a well known method that called CCCP (concave-convex procedure).

研究动机与目标

• 解决非凸优化中Majorization Minimization（MM）算法的全局收敛性问题，其中传统凸性假设不成立。
• 在弱于先前工作的假设下建立收敛性，特别是避免对孤立驻点的依赖。
• 证明机器学习中许多常见的非凸正则化问题满足Kurdyka-Łojasiewicz（KŁ）不等式。
• 统一并推广CCCP、迭代重加权ℓ₁最小化和局部线性逼近等现有方法的收敛结果。
• 提出一个基于KŁ不等式的理论框架，用于分析非光滑、非凸设置下MM算法的收敛性。

提出的方法

• 应用Kurdyka-Łojasiewicz（KŁ）不等式分析非凸优化中MM算法的收敛性，替代对凸性或孤立驻点的依赖。
• 引入一个通用的MM框架，其中代理函数对原目标函数进行上界逼近，且通过迭代最小化步骤更新参数。
• 利用KŁ性质证明：即使目标函数非光滑或非凸，MM生成的迭代序列仍收敛到临界点。
• 通过下降性质建立收敛性：每一步的目标值递减，且迭代点之间差值的和为可 summable，暗示柯西收敛。
• 证明KŁ不等式对常见非凸惩罚函数（如ℓ_q（q∈(0,1)）、SCAD、MCP和截断ℓ₁）成立，从而支持收敛性分析。
• 将分析扩展至CCCP和迭代重加权ℓ₁最小化等具体算法，表明它们是所提MM框架的特例。

实验结果

研究问题

• RQ1 在何种条件下，MM算法对非凸优化问题实现全局收敛？
• RQ2 Kurdyka-Łojasiewicz不等式能否在不假设驻点孤立的前提下，用于建立MM算法的全局收敛性？
• RQ3 SCAD、MCP和迭代重加权ℓ₁最小化等广泛使用的非凸正则化方法是否属于所提出的MM收敛框架？
• RQ4 KŁ性质在确保非光滑、非凸设置下MM迭代收敛中起什么作用？
• RQ5 所提出的框架如何统一并推广CCCP和LLA等方法的现有收敛结果？

主要发现

• 当目标函数满足Kurdyka-Łojasiewicz（KŁ）不等式时，MM算法会全局收敛到临界点，而该不等式适用于一大类非凸问题。
• 许多标准非凸惩罚函数（包括ℓ_q（q∈(0,1)）、SCAD、MCP和截断ℓ₁）均满足KŁ性质，从而为稀疏估计问题提供了收敛保证。
• 收敛性证明不依赖于所有驻点均为孤立点的假设，相比先前工作有显著放松。
• MM算法生成的迭代序列是柯西序列，因此收敛，且相邻迭代点之间差值的和为可 summable，意味着收敛到临界点。
• 全局收敛结果可推广至CCCP、迭代重加权ℓ₁最小化和局部线性逼近（LLA）等知名方法，表明它们是所提框架的特例。
• 分析表明目标值单调递减并收敛到有限极限，且迭代点处目标函数的梯度趋于零，证实收敛到临界点。