[论文解读] Stability and Generalization of Learning Algorithms that Converge to Global Optima

Zachary Charles, Dimitris Papailiopoulos|arXiv (Cornell University)|Oct 23, 2017

Stochastic Gradient Optimization Techniques被引用 62

一句话总结

该论文为学习算法在 Polyak-Łojasiewicz 和二次增长条件下收敛到全局极小值时的黑箱稳定性/泛化界，并将其应用于非凸设置中的 SGD、GD、RCD 和 SVRG。

ABSTRACT

We establish novel generalization bounds for learning algorithms that converge to global minima. We do so by deriving black-box stability results that only depend on the convergence of a learning algorithm and the geometry around the minimizers of the loss function. The results are shown for nonconvex loss functions satisfying the Polyak-{\\L}ojasiewicz (PL) and the quadratic growth (QG) conditions. We further show that these conditions arise for some neural networks with linear activations. We use our black-box results to establish the stability of optimization algorithms such as stochastic gradient descent (SGD), gradient descent (GD), randomized coordinate descent (RCD), and the stochastic variance reduced gradient method (SVRG), in both the PL and the strongly convex setting. Our results match or improve state-of-the-art generalization bounds and can easily be extended to similar optimization algorithms. Finally, we show that although our results imply comparable stability for SGD and GD in the PL setting, there exist simple neural networks with multiple local minima where SGD is stable but GD is not.

研究动机与目标

• 动机化并量化在 PL/QG 几何条件下收敛到全局极小值如何产生稳定性和泛化保证。
• 开发依赖于算法收敛和极小值附近局部几何的黑箱稳定性界。
• 展示在 PL 和强凸区间内，对常见优化方法（SGD、GD、RCD、SVRG）的适用性。
• 表明 PL/ QG 条件在具有线性激活的神经网络以及深度线性网络中出现，具有实际意义。

提出的方法

• 定义 PL 和 QG 条件，并通过点稳定性和一致稳定性框架将其与稳定性和泛化联系起来。
• 推导稳定性界，将算法收敛（epsilon_A 类项）与几何常数（mu、L、n）分离。
• 在 PL 或强凸性下，将已知收敛速率（SGD、GD、RCD、SVRG）应用到一阶方法的稳定性界。
• 在 PL 下，稳定性界与或优于现有结果相匹配，且不需要凸性或强凸性假设。
• 给出在某些非凸设定下，SGD 稳定而 GD 不稳定的示例。

实验结果

研究问题

• RQ1 在不假设凸性的情况下，是否能为满足 PL 或 QG 的非凸损失得到稳定性/全局泛化界？
• RQ2 常见算法（SGD、GD、RCD、SVRG）的收敛性质如何转化为在 PL/QG 下的稳定性保证？
• RQ3 PL 和 QG 类是否能覆盖实际的损失景观，如线性激活的神经网络中出现的景观？
• RQ4 在非凸设置中，何时 SGD 与 GD 在稳定性上存在差异，以及对泛化的含义？

主要发现

• 推导出的稳定性界依赖于算法收敛性以及在 PL/QG 条件下全局最小点周围的局部几何。
• 在 PL 下，经验损失若 A 收敛到全局优化器，则产生带有显式 2L^2/(mu(n-1)) 项（或相关表达式）的逐点假设稳定性。
• 在 QG 下，得到的稳定性界类似，依赖于 mu 和样本量 n，且界随 Lipschitz 常数 L 与损失上界 c 逐渐放大。
• 结果在强凸情形下回收阶级别的稳定性界，并扩展到更广泛的算法（SGD、GD、RCD、SVRG）。
• 论文给出在某些受神经网络启发的非凸景观中，SGD 稳定而 GD 不稳定的例子。
• PL 出现在具有线性激活的网络中，包括深度线性网络，意味着该理论具有实际意义。