[论文解读] Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games

Emmanouil-Vasileios Vlatakis-Gkaragkounis, Lampros Flokas+1 more|arXiv (Cornell University)|Oct 28, 2019

Markov Chains and Monte Carlo Methods参考文献 28被引用 19

一句话总结

本文分析了非凸非凹零和博弈中梯度下降-上升动力学，表明由于生成对抗网络（GANs）中所见的间接竞争结构，此类动力学可能表现出庞加莱重现、周期性循环以及收敛到虚假均衡——而非收敛到有意义的极小极大解。该研究结合优化、博弈论与动力系统理论，为正测度的初始条件建立了这些行为。

ABSTRACT

We study a wide class of non-convex non-concave min-max games that generalizes over standard bilinear zero-sum games. In this class, players control the inputs of a smooth function whose output is being applied to a bilinear zero-sum game. This class of games is motivated by the indirect nature of the competition in Generative Adversarial Networks, where players control the parameters of a neural network while the actual competition happens between the distributions that the generator and discriminator capture. We establish theoretically, that depending on the specific instance of the problem gradient-descent-ascent dynamics can exhibit a variety of behaviors antithetical to convergence to the game theoretically meaningful min-max solution. Specifically, different forms of recurrent behavior (including periodicity and Poincar\'{e} recurrence) are possible as well as convergence to spurious (non-min-max) equilibria for a positive measure of initial conditions. At the technical level, our analysis combines tools from optimization theory, game theory and dynamical systems.

研究动机与目标

• 理解在生成对抗网络（GANs）背景下，非凸非凹极小极大博弈中梯度下降-上升的动力学行为。
• 识别由于周期性或循环行为导致收敛至极小极大均衡失败的条件。
• 分析对正测度初始条件轨迹具有吸引性的虚假均衡的存在性。
• 正式刻画梯度下降-上升在扩展标准双线性零和博弈的广泛博弈类中的不稳定性。

提出的方法

• 形式化一类非凸非凹博弈，其中玩家控制平滑函数的输入，其输出被用于双线性零和博弈。
• 应用动力系统理论工具，分析梯度下降-上升轨迹的长期行为。
• 利用优化与博弈论框架，刻画均衡点及其稳定性特性。
• 通过拓扑与分析论证，建立动力学中庞加莱重现与周期轨道的存在性。
• 通过测度论论证，证明虚假均衡可对正测度初始条件具有吸引性。
• 结合优化、博弈论与动力系统技术，分析复杂博弈动力学中的收敛性与重现性。

实验结果

研究问题

• RQ1 在非凸非凹零和博弈中，梯度下降-上升动力学能否收敛至极小极大均衡，还是更可能表现出周期性行为？
• RQ2 在何种条件下，虚假均衡会吸引正测度初始条件的轨迹？
• RQ3 庞加莱重现与周期性在这些博弈的动力学中在多大程度上表现出来？
• RQ4 GANs中的间接竞争结构如何导致训练动力学的不稳定性？
• RQ5 在该类博弈中，关于收敛性或非收敛性可作出何种理论保证？

主要发现

• 所研究博弈类中，梯度下降-上升动力学可表现出庞加莱重现，即轨迹无限次地无限接近其初始状态。
• 在特定参数配置下，动力学中可能出现周期性行为，包括稳定的极限环。
• 虚假（非极小极大）均衡可对正测度初始条件具有吸引性，表明收敛至有意义解并非普遍现象。
• 理论分析确认，即使在光滑、结构良好的非凸非凹博弈中，收敛至极小极大均衡也并非必然。
• 动力学在拓扑动力学意义上本质上不稳定，周期性与非收敛轨迹普遍存在。
• 研究结果凸显了梯度下降-上升在GAN训练中的固有局限性，此类行为或可解释模式崩溃与训练不稳定性。