[论文解读] Stochastic Hamiltonian Gradient Methods for Smooth Games

Nicolas Loizou, Hugo Berard+4 more|arXiv (Cornell University)|Jul 8, 2020

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

本论文提出了一种新型无偏估计器的随机哈密顿梯度下降（SHGD），用于随机光滑博弈，首次为无约束双线性博弈及‘充分双线性’博弈（在无强单调性假设下）提供了全局非渐近的最后迭代点收敛保证。此外，本文提出了L-SVRHG，这是首个随机方差减少的哈密顿方法，在温和条件下实现了线性收敛。

ABSTRACT

The success of adversarial formulations in machine learning has brought renewed motivation for smooth games. In this work, we focus on the class of stochastic Hamiltonian methods and provide the first convergence guarantees for certain classes of stochastic smooth games. We propose a novel unbiased estimator for the stochastic Hamiltonian gradient descent (SHGD) and highlight its benefits. Using tools from the optimization literature we show that SHGD converges linearly to the neighbourhood of a stationary point. To guarantee convergence to the exact solution, we analyze SHGD with a decreasing step-size and we also present the first stochastic variance reduced Hamiltonian method. Our results provide the first global non-asymptotic last-iterate convergence guarantees for the class of stochastic unconstrained bilinear games and for the more general class of stochastic games that satisfy a "sufficiently bilinear" condition, notably including some non-convex non-concave problems. We supplement our analysis with experiments on stochastic bilinear and sufficiently bilinear games, where our theory is shown to be tight, and on simple adversarial machine learning formulations.

研究动机与目标

• 解决随机哈密顿方法在光滑博弈中缺乏收敛性保证的问题，尤其是在无强单调性假设下。
• 在随机设置下对SHGD与L-SVRHG进行理论收敛性分析，重点关注最后迭代点收敛性。
• 通过为哈密顿函数引入无偏梯度估计器，克服现有SHGD变体中使用有偏估计器的局限性。
• 通过‘充分双线性’条件，将收敛性理论扩展至非紧致域与非凸非凹问题。
• 通过双线性、充分双线性及对抗性学习博弈的实验，验证理论的紧致性。

提出的方法

• 提出一种新型无偏估计器，用于随机哈密顿梯度，使严格的收敛性分析成为可能。
• 应用标准优化工具（如李雅普诺夫函数）证明：SHGD在固定步长下可线性收敛至驻点邻域。
• 设计递减步长策略，实现对精确驻点的次线性收敛。
• 设计L-SVRHG，这是首个随机方差减少的哈密顿方法，采用控制变量子技术降低梯度方差。
• 将随机博弈形式化为有限和问题：$ g(x_1,x_2) = \frac{1}{n}\sum_{i=1}^n g_i(x_1,x_2) $，其中每个 $ g_i $ 均为光滑函数。
• 在‘充分双线性’条件下分析收敛性，该条件推广了双线性博弈，并包含部分非单调问题。

实验结果

研究问题

• RQ1 在无强单调性假设下，随机哈密顿梯度下降能否实现最后迭代点收敛？
• RQ2 SHGD在随机光滑博弈中，使用固定步长与递减步长时的收敛速率如何？
• RQ3 方差减少能否在随机博弈的哈密顿方法中有效应用？
• RQ4 与有偏变体相比，所提出的无偏估计器在收敛性保证方面有何改进？
• RQ5 该理论在实践中是否具有紧致性，特别是在对抗性学习与双线性博弈中？

主要发现

• 在‘充分双线性’条件下，SHGD使用固定步长可线性收敛至驻点邻域。
• SHGD使用递减步长可实现对精确驻点的次线性收敛，确保全局收敛。
• L-SVRHG在每轮迭代中仅需 $ 4 + p \cdot 2n $ 次梯度计算，实现线性收敛，且迭代成本低于标准SVRG。
• 实验表明，理论收敛速率具有紧致性，L-SVRHG在双线性与充分双线性博弈中为最快方法。
• 在插值设置下（即 $ \xi_i(x^*) = 0 $），所有方法均实现线性收敛，且出人意料的是，有偏SHGD因信号一致性表现更优。
• 所提出的无偏估计器使此前有偏变体无法保证最后迭代点收敛的场景获得了收敛性保证。