[论文解读] Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems

Tianyi Chen, Yuejiao Sun+1 more|arXiv (Cornell University)|Jun 25, 2021

Stochastic Gradient Optimization Techniques参考文献 22被引用 7

一句话总结

本文提出了 ALSET（ALternating Stochastic gradient dEscenT）方法，这是一种用于求解随机嵌套优化问题（如双层、极小极大和复合问题）的统一框架。通过利用隐藏光滑性并进行更紧致的分析，该方法在达到 $\epsilon$-驻点时实现了 ${\cal O}(\epsilon^{-2})$ 的样本复杂度，其结果在特殊情况下与现有边界匹配或更优。

ABSTRACT

Stochastic nested optimization, including stochastic compositional, min-max and bilevel optimization, is gaining popularity in many machine learning applications. While the three problems share the nested structure, existing works often treat them separately, and thus develop problem-specific algorithms and their analyses. Among various exciting developments, simple SGD-type updates (potentially on multiple variables) are still prevalent in solving this class of nested problems, but they are believed to have slower convergence rate compared to that of the non-nested problems. This paper unifies several SGD-type updates for stochastic nested problems into a single SGD approach that we term ALternating Stochastic gradient dEscenT (ALSET) method. By leveraging the hidden smoothness of the problem, this paper presents a tighter analysis of ALSET for stochastic nested problems. Under the new analysis, to achieve an $ε$-stationary point of the nested problem, it requires ${\cal O}(ε^{-2})$ samples. Under certain regularity conditions, applying our results to stochastic compositional, min-max and reinforcement learning problems either improves or matches the best-known sample complexity in the respective cases. Our results explain why simple SGD-type algorithms in stochastic nested problems all work very well in practice without the need for further modifications.

研究动机与目标

• 将现有的基于 SGD 的方法统一到一个适用于随机嵌套问题的单一框架中。
• 为随机双层、极小极大和复合优化中的交替 SGD 方法提供更紧致的收敛性分析。
• 解释简单 SGD 类算法在嵌套问题中取得经验成功的原因，而无需引入复杂修改。
• 在一般正则性条件下，建立达到 $\epsilon$-驻点的最优样本复杂度。

提出的方法

• 提出 ALSET 方法，作为针对具有双层、极小极大和复合公式共性结构的随机嵌套问题的统一交替 SGD 方法。
• 引入一个李雅普诺夫函数 $\mathbb{V}^k = -F(\theta_k) + \|y_k - y^*(\theta_k)\|^2$ 以追踪进展与稳定性。
• 对李雅普诺夫函数使用伸缩论证，以界定期望梯度范数 $\mathbb{E}\|\nabla F(\theta_k)\|^2$ 的上界。
• 推导出步长规则 $\alpha_k = \mathcal{O}(1/\sqrt{K})$，$\beta_k = \mathcal{O}(1/\sqrt{K})$，以平衡收敛性与近似误差。
• 利用问题的隐藏光滑性，收紧对梯度估计和下层解误差的界。
• 应用偏差-方差分解，以处理由于下层解近似导致的上层梯度不精确性。

实验结果

研究问题

• RQ1 是否可以设计一个基于 SGD 的统一框架，统一分析随机双层、极小极大和复合问题的收敛性？
• RQ2 在随机嵌套优化中，达到 $\epsilon$-驻点的最紧致可能的样本复杂度是多少？
• RQ3 为何尽管理论预期收敛缓慢，简单交替 SGD 方法在实践中仍表现良好？
• RQ4 如何利用嵌套问题中的隐藏光滑性来改进收敛性分析？

主要发现

• ALSET 方法在随机嵌套问题中实现 ${\cal O}(\epsilon^{-2})$ 的样本复杂度，以找到 $\epsilon$-驻点。
• 在正则性条件下，该方法在随机复合、极小极大和强化学习问题中达到或优于现有最佳样本复杂度。
• 该分析解释了简单 SGD 类算法在嵌套设置中经验鲁棒性的原因，而无需对算法进行修改。
• 通过一种新颖的李雅普诺夫函数推导出收敛界，该函数同时追踪目标函数进展与下层解误差。
• 该方法证明，由于下层解近似导致的上层梯度不精确性，可通过 $\mathcal{O}(1/\sqrt{K})$ 的步长规则得到控制。
• 分析表明，问题结构中的隐藏光滑性使得其界比标准 SGD 分析更紧致。