[论文解读] On the convergence of mirror descent beyond stochastic convex programming

Zhengyuan Zhou, Panayotis Mertikopoulos+3 more|arXiv (Cornell University)|Jun 18, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 3

一句话总结

本文在弱于凸性的条件下——变分一致性——建立了随机镜像下降（SMD）几乎必然收敛到全局最小值，证明了即使在非凸问题中，SMD的最后一个迭代点也以概率1收敛。此外，研究还表明，在具有尖锐极小值的问题中，尽管存在持续的梯度噪声，SMD仍几乎必然在有限步内达到最小值。

ABSTRACT

In this paper, we examine the convergence of mirror descent in a class of stochastic optimization problems that are not necessarily convex (or even quasi-convex), and which we call variationally coherent. Since the standard technique of "ergodic averaging" offers no tangible benefits beyond convex programming, we focus directly on the algorithm's last generated sample (its "last iterate"), and we show that it converges with probabiility $1$ if the underlying problem is coherent. We further consider a localized version of variational coherence which ensures local convergence of stochastic mirror descent (SMD) with high probability. These results contribute to the landscape of non-convex stochastic optimization by showing that (quasi-)convexity is not essential for convergence to a global minimum: rather, variational coherence, a much weaker requirement, suffices. Finally, building on the above, we reveal an interesting insight regarding the convergence speed of SMD: in problems with sharp minima (such as generic linear programs or concave minimization problems), SMD reaches a minimum point in a finite number of steps (a.s.), even in the presence of persistent gradient noise. This result is to be contrasted with existing black-box convergence rate estimates that are only asymptotic.

研究动机与目标

• 分析在标准凸性假设不成立的非凸优化问题中，随机镜像下降（SMD）的收敛性。
• 识别弱于凸性或拟凸性的条件，该条件仍能保证SMD最后一个迭代点收敛到全局最小值。
• 将收敛性分析扩展到全局凸性不成立的局部一致问题，特别是在多峰设置中。
• 研究在存在持续梯度噪声的尖锐极小值问题中，SMD的有限时间收敛行为。
• 证明在非凸设置中，无需使用遍历平均，仅最后一个迭代点即可实现收敛，前提是满足变分一致性。

提出的方法

• 引入‘变分一致性’的概念，作为单调性和凸性的推广，使收敛性分析能够超越凸规划。
• 分析SMD的对偶平均（或‘懒惰’）变体，利用镜像映射将梯度更新投影到可行集内。
• 采用基于Fenchel耦合的李雅普诺夫函数来追踪向最优集的进展，利用其正定性和对偶性。
• 应用鞅收敛定理和鞅差分的大数定律，证明最后一个迭代点的几乎必然收敛。
• 引入变分一致性的局部化版本，以处理非凸、多峰问题，其中局部极小值并非局部凸。
• 使用有界$L^2$-范数的梯度样本和平方可 summable 的步长，以确保在噪声存在下的稳定性和收敛性。

实验结果

研究问题

• RQ1 在非凸问题中，若不需凸性或拟凸性假设，随机镜像下降能否收敛到全局最小值？
• RQ2 在弱于凸性的条件下，SMD的最后一个迭代点是否以概率1收敛？
• RQ3 变分一致性这一更弱的结构性条件，能否确保SMD最后一个迭代点的几乎必然收敛？
• RQ4 在存在持续梯度噪声的尖锐极小值问题中，SMD的收敛行为如何？
• RQ5 在最小值点非局部凸的非凸问题中，能否保证局部收敛？

主要发现

• 在变分一致性条件下，即使在非凸问题中，SMD的最后一个迭代点也以概率1收敛到全局最小值。
• 收敛性分析无需使用遍历平均，而是直接分析最后一个生成的样本，这在非凸设置中更为自然。
• 在具有尖锐极小值的问题中（如一般线性规划或凹函数最小化），尽管存在持续的梯度噪声，SMD仍以概率1在有限步内达到最小值点。
• 变分一致性的局部化版本可确保SMD在高概率下实现局部收敛，即使最小值点非局部凸。
• 分析表明，(拟-)凸性并非收敛所必需；变分一致性是充分且严格弱于凸性的条件。
• 使用Fenchel耦合作为李雅普诺夫函数，并利用其递归性质，证明迭代点以概率1无限多次进入并停留在最优集附近。