[论文解读] Sharp Analysis of Stochastic Optimization under Global Kurdyka-Łojasiewicz Inequality

Ilyas Fatkhullin, Jalal Etesami+2 more|arXiv (Cornell University)|Oct 4, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文针对全局Kurdyka-Łojasiewicz（KŁ）不等式下的随机优化问题，提供了精确的复杂度分析，提出了一种结合方差减少与重启机制的改进型SGD算法PAGER，实现了α-PŁ函数下最优的样本复杂度$\mathcal{O}(\epsilon^{-2/\alpha})$。在较弱的期望光滑性假设下，该工作首次为$\alpha=1$情形建立了最优算法，该情形在强化学习中具有重要意义。

ABSTRACT

We study the complexity of finding the global solution to stochastic nonconvex optimization when the objective function satisfies global Kurdyka-Lojasiewicz (KL) inequality and the queries from stochastic gradient oracles satisfy mild expected smoothness assumption. We first introduce a general framework to analyze Stochastic Gradient Descent (SGD) and its associated nonlinear dynamics under the setting. As a byproduct of our analysis, we obtain a sample complexity of $\mathcal{O}(ε^{-(4-α)/α})$ for SGD when the objective satisfies the so called $α$-PL condition, where $α$ is the degree of gradient domination. Furthermore, we show that a modified SGD with variance reduction and restarting (PAGER) achieves an improved sample complexity of $\mathcal{O}(ε^{-2/α})$ when the objective satisfies the average smoothness assumption. This leads to the first optimal algorithm for the important case of $α=1$ which appears in applications such as policy optimization in reinforcement learning.

研究动机与目标

• 填补在全局Kurdyka-Łojasiewicz（KŁ）不等式下随机优化样本复杂度分析的空白。
• 分析随机梯度下降（SGD）及其变体在更广泛的$\alpha$-PŁ条件下的性能，而不仅限于$\alpha=2$的情形。
• 设计并分析一种新算法PAGER，结合方差减少与重启机制，以实现最优收敛速率。
• 在较弱的期望光滑性假设下，建立SGD与PAGER的理论样本复杂度边界。
• 在CartPole与Acrobot等强化学习环境中，通过实验验证理论发现。

提出的方法

• 提出一个通用框架，用于分析SGD及其在全局KŁ条件下的非线性动力学行为。
• 引入PAGER算法，即一种结合自适应方差减少与基于函数值进展动态重启机制的SGD变体。
• 在PAGER中采用时变步长与小批量大小调度策略，以平衡收敛速度与方差减少效果。
• 利用$\alpha$-PŁ条件，即$||\nabla f(x)|| \geq \sqrt{2\mu} (f(x) - f^*)^{1/\alpha}$，刻画全局最优解的收敛性。
• 在强化学习应用中，通过重要性加权与基于轨迹的梯度估计器（如GPOMDP）处理分布偏移问题。
• 通过李雅普诺夫分析与动力学的随机微分方程近似，推导理论样本复杂度边界。

实验结果

研究问题

• RQ1 在全局$\alpha$-PŁ条件下，非凸随机优化中SGD的最优样本复杂度是多少？
• RQ2 在$\alpha$-PŁ条件下，方差减少与重启机制能否提升SGD的收敛速率？
• RQ3 是否存在一种随机优化算法，能够在$\alpha$-PŁ函数下实现最优的$\mathcal{O}(\epsilon^{-2/\alpha})$样本复杂度？
• RQ4 在实践中，PAGER相较于SGD与未重启的PAGE算法在强化学习任务中的表现如何，特别是在CartPole与Acrobot任务中？
• RQ5 自适应小批量大小与步长调度在实现$\alpha$-PŁ条件下的最优收敛中起到何种作用？

主要发现

• 在较弱的期望光滑性假设下，SGD对$\alpha$-PŁ函数的样本复杂度为$\mathcal{O}(\epsilon^{-(4-\alpha)/\alpha})$。
• PAGER作为一种结合方差减少与重启机制的SGD变体，在相同假设下实现了更优的样本复杂度$\mathcal{O}(\epsilon^{-2/\alpha})$。
• 当$\alpha = 1$时，PAGER实现了最优的$\mathcal{O}(\epsilon^{-2})$样本复杂度，这是该领域内首次实现此类结果。
• 在CartPole与Acrobot上的实验结果表明，PAGER的收敛速度比SGD快约3倍，且优于未重启的PAGE算法，验证了重启机制的有效性。
• PAGER中的方差减少与动态参数调节机制，使其在接近最优解时表现出比SGD与PAGE更稳定的收敛行为。
• 通过仿真验证了理论样本复杂度边界的准确性，其与实际性能趋势高度一致。