[论文解读] Stability and Generalization of Stochastic Gradient Methods for Minimax Problems

Yunwen Lei, Zhenhuan Yang+2 more|arXiv (Cornell University)|May 8, 2021

Stochastic Gradient Optimization Techniques参考文献 61被引用 7

一句话总结

该论文首次为极小极大优化中的随机梯度下降上升（SGDA）建立了高概率泛化界，涵盖凸-凹和非凸-非凹两种情形。论文提出了一种基于稳定性的新颖分析方法，将算法稳定性与泛化能力联系起来，即使在非光滑情况下也推导出了最优的总体风险界，并通过在生成对抗网络（GANs）上的实验验证了理论，结果显示随时间推移参数距离持续增加。

ABSTRACT

Many machine learning problems can be formulated as minimax problems such as Generative Adversarial Networks (GANs), AUC maximization and robust estimation, to mention but a few. A substantial amount of studies are devoted to studying the convergence behavior of their stochastic gradient-type algorithms. In contrast, there is relatively little work on their generalization, i.e., how the learning models built from training examples would behave on test examples. In this paper, we provide a comprehensive generalization analysis of stochastic gradient methods for minimax problems under both convex-concave and nonconvex-nonconcave cases through the lens of algorithmic stability. We establish a quantitative connection between stability and several generalization measures both in expectation and with high probability. For the convex-concave setting, our stability analysis shows that stochastic gradient descent ascent attains optimal generalization bounds for both smooth and nonsmooth minimax problems. We also establish generalization bounds for both weakly-convex-weakly-concave and gradient-dominated problems.

研究动机与目标

• 为极小极大问题中随机梯度方法的泛化分析填补空白，特别是在非凸-非凹和非光滑情形下。
• 在极小极大优化中，建立算法稳定性与多种泛化形式（原始、对偶、高概率）之间的定量联系。
• 在早停策略下，为SGDA推导出最优的总体风险界，扩展了以往缺乏高概率或非光滑保证的研究工作。
• 通过GAN上的实证结果验证理论发现，表明在训练过程中，基于相邻数据集训练的模型之间的参数距离持续增加。

提出的方法

• 提出一种新颖的分解方法，以处理稳定性-泛化分析中原始模型与对偶模型之间的相关性。
• 利用算法稳定性理论，界定了在相邻训练集之间模型行为的差异。
• 引入一种基于单个训练样本被移除时模型参数期望变化的稳定性度量。
• 利用集中不等式和利普希茨连续性，推导出期望和高概率的泛化界。
• 应用早停策略，在凸-凹设定下实现最优的总体风险界。
• 在弱凸-弱凹参数衰减或双边PL条件等正则性条件下，将分析扩展至非凸-非凹问题。

实验结果

研究问题

• RQ1 能否利用算法稳定性为极小极大问题中的SGDA推导出高概率泛化界？
• RQ2 在凸-凹极小极大问题中，SGDA的最优总体风险界是什么，特别是在非光滑情况下？
• RQ3 稳定性分析如何推广到具有非光滑目标函数的非凸-非凹极小极大问题？
• RQ4 在非凸-非凹设定下，哪些正则性条件能够支持有意义的泛化界？
• RQ5 在SGDA训练过程中，基于相邻数据集训练的模型之间的参数距离如何演化？

主要发现

• 该论文首次为极小极大问题中的SGDA建立了高概率泛化界，适用于凸-凹和非凸-非凹两种情形。
• 在凸-凹问题中，即使在非光滑情况下，该方法在早停策略下仍能实现最优的总体风险界。
• 分析表明，泛化误差受一个涉及与优化轨迹相关的参数的倒数的稳定性度量所控制。
• 在非凸-非凹设定下，泛化界在弱凸-弱凹参数衰减或双边PL条件等条件下被推导出来。
• GAN上的实证结果证实，基于相邻数据集训练的模型之间的参数距离随训练时间持续增加，支持了理论上的稳定性分析。
• 该研究证明了SGDA在凸-凹设定下的界是最优的，优于以往研究中得出的指数增长界。