[论文解读] The value function approach to convergence analysis in composite optimization

Edouard Pauwels|arXiv (Cornell University)|Apr 6, 2016

Advanced Optimization Algorithms Research参考文献 23被引用 20

一句话总结

本文在拟 tame 条件下，通过值函数方法，对复合高斯-牛顿法的一种回溯变体进行了全局收敛性分析。在温和的几何条件下，该方法可收敛至临界点，其理论基础为可定义函数的非光滑 Kurdyka-Łojasiewicz（KL）不等式，提供了一个灵活且可验证的框架，适用于广泛类别的非凸、非光滑复合优化问题。

ABSTRACT

This works aims at understanding further convergence properties of first order local search methods with complex geometries. We focus on the composite optimization model which unifies within a simple formalism many problems of this type. We provide a general convergence analysis of the composite Gauss-Newton method under tameness assumptions (an extension of semi-algebraicity). Tameness is a very general condition satisfied by virtually all problems solved in practice. The analysis is based on recent progresses in understanding convergence properties of sequential convex programming methods through the value function.

研究动机与目标

• 解决在复杂几何结构下，一阶方法在复合非凸优化中缺乏灵活且全局适用的收敛性保证的问题。
• 克服对极限点附近强局部增长条件的依赖，此类条件在实际中往往难以验证。
• 通过值函数框架，对复合高斯-牛顿法进行一般性收敛性分析，扩展了对序列凸规划的先前研究。
• 将一般回溯线搜索整合进分析中，以处理仅具有局部 Lipschitz 连续梯度的函数。
• 在拟 tame 条件（在 o-极小结构中可定义）下建立收敛性，该条件蕴含 KL 不等式，并可排除如剧烈振荡等病态行为。

提出的方法

• 将复合优化问题表述为最小化 $ g(F(x)) $，其中 $ F: \mathbb{R}^n \to \mathbb{R}^m $ 是 $ \mathscr{C}^2 $ 类函数，$ g: \mathbb{R}^m \to \mathbb{R} $ 是凸且有限值函数，$ D \subset \mathbb{R}^n $ 是闭且凸的集合。
• 应用复合高斯-牛顿法的一种回溯变体，其中线搜索步长参数 $ \mu_k $ 自适应地增大，直至满足充分下降条件。
• 定义值函数 $ V_\mu(x) = \min_{y \in D} g(F(x) + \nabla F(x)(y - x)) + \frac{\mu}{2} \|y - x\|^2 $，该函数封装了问题的局部二次逼近。
• 利用值函数上的非光滑 Kurdyka-Łojasiewicz（KL）不等式，控制目标函数的衰减并确保收敛。
• 采用一种类似李雅普诺夫的函数 $ \varphi(V_\mu(x_k)) $，其中 $ \varphi $ 为凹且可微函数，推导出一个下降不等式，将值函数的下降量与步长和次梯度范数联系起来。
• 证明序列 $ \{x_k\} $ 在极限点邻域内有界且为柯西序列，基于 $ \|x_{k+1} - x_k\| $ 的可 summability 性质，从而实现迭代序列的收敛。

实验结果

研究问题

• RQ1 能否在不依赖强局部增长条件的前提下，为复合高斯-牛顿法建立全局收敛性保证？
• RQ2 值函数框架如何扩展以处理复合非凸优化中的回溯线搜索？
• RQ3 拟 tame 假设（在 o-极小结构中可定义）在多大程度上能确保 KL 不等式的有效性，从而支持收敛性分析？
• RQ4 能否使收敛性分析足够灵活，以包含仅具有局部 Lipschitz 连续梯度的函数？
• RQ5 在何种条件下，回溯高斯-牛顿法的迭代序列会收敛至复合问题的临界点？

主要发现

• 在拟 tame 假设下，所提出的回溯复合高斯-牛顿法可全局收敛至复合优化问题的临界点。
• 收敛性通过值函数方法建立，该方法无需强局部正则性条件，即可处理非凸、非光滑及结构复杂的优化问题。
• 分析基于非光滑 Kurdyka-Łojasiewicz（KL）不等式，该不等式对可定义函数成立，确保每一步迭代中目标值均充分下降。
• 证明序列 $ \{x_k\} $ 在极限点邻域内为柯西序列，意味着迭代序列收敛至近端映射的不动点。
• 步长参数 $ \mu_k $ 在 $ k $ 较大时保持有界，且级数 $ \sum \|x_{k+1} - x_k\| $ 收敛，这是证明迭代序列收敛的关键。
• 该方法对局部 Lipschitz 连续梯度具有鲁棒性，且无需强凸性或锐度假设，因此适用于广泛的实际问题。