[论文解读] Train simultaneously, generalize better: Stability of gradient-based minimax learners

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|Oct 23, 2020

Sparse and Compressive Sensing Techniques参考文献 76被引用 6

一句话总结

本文表明，最小最大模型（如 GAN 中的模型）的泛化性能从根本上受到优化算法选择的影响，而不仅仅是收敛速度或鲁棒性。基于算法稳定性理论，本文证明在非凸非凹设置下，使用平衡学习率的梯度下降上升（GDA）同步训练方法，其泛化性能优于非同步方法（如 GDmax），理论边界显示其超额风险缩放性能更优。

ABSTRACT

The success of minimax learning problems of generative adversarial networks (GANs) has been observed to depend on the minimax optimization algorithm used for their training. This dependence is commonly attributed to the convergence speed and robustness properties of the underlying optimization algorithm. In this paper, we show that the optimization algorithm also plays a key role in the generalization performance of the trained minimax model. To this end, we analyze the generalization properties of standard gradient descent ascent (GDA) and proximal point method (PPM) algorithms through the lens of algorithmic stability under both convex concave and non-convex non-concave minimax settings. While the GDA algorithm is not guaranteed to have a vanishing excess risk in convex concave problems, we show the PPM algorithm enjoys a bounded excess risk in the same setup. For non-convex non-concave problems, we compare the generalization performance of stochastic GDA and GDmax algorithms where the latter fully solves the maximization subproblem at every iteration. Our generalization analysis suggests the superiority of GDA provided that the minimization and maximization subproblems are solved simultaneously with similar learning rates. We discuss several numerical results indicating the role of optimization algorithms in the generalization of the learned minimax models.

研究动机与目标

• 探究优化算法是否在收敛性和鲁棒性之外，影响最小最大学习中的泛化性能。
• 分析标准梯度下降上升（GDA）和近端点法（PPM）在凸-凹最小最大问题中的泛化行为。
• 比较非凸非凹设置下同步（如 GDA）与非同步（如 GDmax）优化策略的泛化性能。
• 将算法稳定性理论扩展至最小最大设置，以进行泛化分析。
• 提供理论与实证证据，表明同步训练可带来更优的泛化性能。

提出的方法

• 将监督学习中的算法稳定性理论适配至最小最大优化，通过训练数据扰动的敏感性来衡量泛化性能。
• 推导出强凸强凹问题中 GDA 和 PPM 的基于稳定性的泛化边界，表明 PPM 实现了 $O(\sqrt{1/n})$ 的超额风险。
• 分析非凸强凹问题中随机 GDA 与 GDmax 的性能，证明当最小化与最大化玩家以相似学习率同步训练时，GDA 具有更好的泛化性能。
• 通过递归推导在相邻数据集上训练的模型之间参数差异 ($\delta_t$) 的边界，获得泛化风险边界。
• 应用 Hardt 等人（2016）关于随机梯度下降稳定性的结果，将边界扩展至最小最大设置。
• 采用渐近步长和光滑性/利普希茨假设，推导出非凸非凹问题的一般收敛与稳定性速率。

实验结果

研究问题

• RQ1 最小最大优化算法的选择是否会影响所学模型的泛化性能？
• RQ2 算法稳定性理论能否被扩展以分析最小最大学习问题中的泛化性能？
• RQ3 在非凸非凹设置下，同步（如 GDA）与非同步（如 GDmax）优化策略在泛化性能方面有何差异？
• RQ4 在凸-凹最小最大问题中，GDA 和 PPM 的理论超额风险边界是什么？
• RQ5 在何种条件下，最小化与最大化玩家的同步训练相比顺序或交替更新，能带来更好的泛化性能？

主要发现

• 在强凸强凹最小最大问题中，PPM 实现了 $O(\sqrt{1/n})$ 量级的有界泛化风险，而使用常数学习率的 GDA 无法保证有界的超额风险。
• 在非凸强凹问题中，使用同步更新与平衡学习率的随机 GDA 比 GDmax 具有更好的泛化性能，其泛化边界缩放为 $O(T^{\ell c / (\ell c + 1)})$。
• 在非凸非凹问题中，SGDA 的泛化边界为 $\epsilon_{\text{gen}}(\text{SGDA}) \leq \frac{1 + \frac{1}{\ell c}}{n} (2cLL_w)^{1/(\ell c + 1)} T^{\ell c / (\ell c + 1)}$，表明同步训练可提升稳定性。
• 数值结果证实，在非凸 GAN 设置中，采用同步优化（如 GDA）训练的模型比采用非同步方法（如 GDmax）训练的模型泛化性能更优。
• 该研究支持 GAN 训练中隐式竞争正则化的作用，其中同步优化自然导致更优的泛化性能。
• 理论分析确认，同步训练不仅加速收敛，还增强泛化性能，尤其当最小化与最大化玩家的学习率保持平衡时。