[论文解读] Proximal alternating minimization and projection methods for nonconvex problems. An approach based on the Kurdyka-Lojasiewicz inequality

Hédy Attouch, Jérôme Bolte+2 more|arXiv (Cornell University)|Jan 11, 2008

Sparse and Compressive Sensing Techniques参考文献 16被引用 9

一句话总结

本文通过Kurdyka-Łojasiewicz（KL）不等式建立了非凸优化问题中一种近端交替最小化算法的收敛性。证明表明，在KL条件下，该算法生成的任意有界序列均收敛至目标函数的临界点，收敛速率取决于临界点附近函数的局部几何结构。

ABSTRACT

We study the convergence properties of an alternating proximal minimization algorithm for nonconvex structured functions of the type: $L(x,y)=f(x)+Q(x,y)+g(y)$, where $f:\R^n ightarrow\R\cup{+\infty}$ and $g:\R^m ightarrow\R\cup{+\infty}$ are proper lower semicontinuous functions, and $Q:\R^n imes\R^m ightarrow \R$ is a smooth $C^1$ function which couples the variables $x$ and $y$. The algorithm can be viewed as a proximal regularization of the usual Gauss-Seidel method to minimize $L$. We work in a nonconvex setting, just assuming that the function $L$ satisfies the Kurdyka-Łojasiewicz inequality. An entire section illustrates the relevancy of such an assumption by giving examples ranging from semialgebraic geometry to "metrically regular" problems. Our main result can be stated as follows: If L has the Kurdyka-Łojasiewicz property, then each bounded sequence generated by the algorithm converges to a critical point of $L$. This result is completed by the study of the convergence rate of the algorithm, which depends on the geometrical properties of the function $L$ around its critical points. When specialized to $Q(x,y)=|x-y|^2$ and to $f$, $g$ indicator functions, the algorithm is an alternating projection mehod (a variant of Von Neumann's) that converges for a wide class of sets including semialgebraic and tame sets, transverse smooth manifolds or sets with "regular" intersection. In order to illustrate our results with concrete problems, we provide a convergent proximal reweighted $\ell^1$ algorithm for compressive sensing and an application to rank reduction problems.

研究动机与目标

• 在标准凸性假设不成立的非凸优化场景中，建立交替最小化算法的收敛性保证。
• 分析对形如 $ L(x,y) = f(x) + Q(x,y) + g(y) $ 的结构化非凸函数最小化问题，其高斯-赛德尔方法的近端正则化版本的收敛性。
• 证明Kurdyka-Łojasiewicz（KL）不等式为证明一大类非凸问题（包括半代数和可 tame 的问题）的收敛性提供了一个统一的框架。
• 根据目标函数在其临界点附近的几何特性，刻画算法的收敛速率。
• 提供具体应用，例如在KL框架下证明收敛的近端重加权 $ \ell^1 $ 算法，用于压缩感知和秩缩减问题。

提出的方法

• 该算法交替地对目标函数 $ L(x,y) $ 的近端正则化形式关于 $ x $ 和 $ y $ 进行最小化，使用步长参数 $ \lambda_k $ 和 $ \mu_k $，其值可任意大。
• 该方法表述为：$ x_{k+1} \in \arg\min_u \left\{ L(u,y_k) + \frac{1}{2\lambda_k}\|u - x_k\|^2 \right\} $，随后 $ y_{k+1} \in \arg\min_v \left\{ L(x_{k+1},v) + \frac{1}{2\mu_k}\|v - y_k\|^2 \right\} $。
• 在目标函数 $ L $ 满足Kurdyka-Łojasiewicz（KL）不等式的假设下，建立了收敛性，该性质已被验证适用于可在o-极小结构中定义的函数，如半代数函数和全局子解析函数。
• 分析利用了KL不等式的如下形式：$ \varphi'(\psi(x)) \cdot \text{dist}(0, \partial \psi(x)) \geq 1 $，其中 $ \psi $ 为目标函数，$ \varphi $ 为去奇点函数。
• 通过将 $ Q(x,y) = \|x - y\|^2 $ 且 $ f, g $ 设为指示函数，将该框架应用于交替投影方法，恢复了横截流形和半代数集的收敛性。
• 具体应用包括压缩感知中的近端重加权 $ \ell^1 $ 算法和低秩矩阵逼近方法，两者均在KL条件下被证明收敛。

实验结果

研究问题

• RQ1 在何种条件下，近端交替最小化算法在非凸设置下收敛至临界点？
• RQ2 Kurdyka-Łojasiewicz不等式如何促进对非凸、非光滑及结构化优化问题的收敛性分析？
• RQ3 目标函数的几何结构（如半代数或子解析）与算法收敛速率之间存在何种关系？
• RQ4 KL不等式能否用于统一不同非凸问题（包括可行性问题和稀疏恢复问题）的收敛结果？
• RQ5 对于非凸集合（如横截流形或具有正则交集的集合），交替投影方法的收敛性特征是什么？

主要发现

• 只要目标函数 $ L $ 满足Kurdyka-Łojasiewicz不等式，由近端交替最小化算法生成的任意有界序列均收敛至 $ L $ 的临界点。
• 算法的收敛速率取决于 $ L $ 在其临界点附近的局部几何结构，当KL不等式中的去奇点函数 $ \varphi $ 为凹函数且子解析时，收敛速度更快。
• 对于 $ Q(x,y) = \|x - y\|^2 $ 且 $ f, g $ 为指示函数的交替投影方法，当集合为横截光滑流形或半代数集时，收敛性可保证。
• 若法锥满足 $ [-N_C(\bar{x})] \cap N_D(\bar{y}) = \{0\} $，则KL不等式在点 $ (\bar{x}, \bar{y}) $ 处成立，该条件对横截流形成立。
• 该框架适用于全局子解析函数，例如由实解析子流形或在log-exp o-极小结构中可定义的集合所定义的函数。
• 具体应用（包括压缩感知的近端重加权 $ \ell^1 $ 算法和秩缩减方法）均在KL条件下被证明收敛。