[论文解读] Stagewise Training Accelerates Convergence of Testing Error Over SGD

Zhuoning Yuan, Yan Yan+2 more|arXiv (Cornell University)|Dec 10, 2018

Stochastic Gradient Optimization Techniques参考文献 32被引用 13

一句话总结

本文为分阶段训练中采用几何递减学习率为何能加速随机梯度下降（SGD）的训练误差和测试误差收敛提供了理论依据，尤其在Polyak-Łojasiewicz（PL）条件下。研究表明，对于凸函数以及接近凸函数的某些非凸目标函数，分阶段SGD相较于使用多项式衰减学习率的普通SGD，能够实现更快的收敛速度和更紧的测试误差界。

ABSTRACT

Stagewise training strategy is widely used for learning neural networks, which runs a stochastic algorithm (e.g., SGD) starting with a relatively large step size (aka learning rate) and geometrically decreasing the step size after a number of iterations. It has been observed that the stagewise SGD has much faster convergence than the vanilla SGD with a polynomially decaying step size in terms of both training error and testing error. {\it But how to explain this phenomenon has been largely ignored by existing studies.} This paper provides some theoretical evidence for explaining this faster convergence. In particular, we consider a stagewise training strategy for minimizing empirical risk that satisfies the Polyak-Łojasiewicz (PL) condition, which has been observed/proved for neural networks and also holds for a broad family of convex functions. For convex loss functions and two classes of "nice-behaviored" non-convex objectives that are close to a convex function, we establish faster convergence of stagewise training than the vanilla SGD under the PL condition on both training error and testing error. Experiments on stagewise learning of deep residual networks exhibits that it satisfies one type of non-convexity assumption and therefore can be explained by our theory. Of independent interest, the testing error bounds for the considered non-convex loss functions are dimensionality and norm independent.

研究动机与目标

• 解释分阶段训练在深度学习中加速测试误差收敛的实证成功原因。
• 为分阶段SGD相较于使用多项式衰减学习率的普通SGD具有更快收敛速度提供理论依据。
• 分析在Polyak-Łojasiewicz（PL）条件下收敛性，该条件在许多神经网络和凸函数中成立。
• 为非凸损失函数建立与维度和范数无关的测试误差界。
• 通过在深度残差网络上的实证验证，表明理论假设在实践中成立。

提出的方法

• 提出一种分阶段训练算法，该算法在多个阶段内使用几何递减的学习率。
• 在PL条件下分析收敛性，该条件确保梯度范数控制与最优解的距离。
• 采用统一的分析框架，结合优化误差与泛化误差以界定向测试误差。
• 将相同的泛化分析工具（如稳定性或Rademacher复杂度）应用于凸与非凸设置。
• 采用两阶段方法：在每个阶段内，SGD使用固定学习率运行；每个阶段结束后，学习率按几何方式降低。
• 通过在深度残差网络上的实证分析验证理论假设，包括测量μ、θ以及最小Hessian特征值。

实验结果

研究问题

• RQ1 为何采用几何递减学习率的分阶段训练相较于使用多项式衰减学习率的普通SGD，能实现更快的测试误差收敛？
• RQ2 在何种条件下，分阶段SGD在测试误差收敛方面优于普通SGD？
• RQ3 实际的深度神经网络在多大程度上满足理论所需的非凸性假设（如单点弱拟凸性）？
• RQ4 在PL条件下，为非凸目标函数推导出的测试误差界是否与维度和范数无关？
• RQ5 在相同迭代次数和数据样本数下，分阶段SGD与使用1/t和1/√t学习率的普通SGD相比，收敛速度如何？

主要发现

• 分阶段SGD对PL常数μ的依赖优于使用1/t学习率的普通SGD，从而实现训练误差和测试误差的更快收敛。
• 对于大规模、病态条件问题（μ ≪ 1），分阶段SGD相较于使用1/√t学习率的普通SGD，显著降低了测试误差。
• 在PL条件下，非凸目标函数的测试误差界与数据维度和模型范数无关，这是强大的理论优势。
• 在深度残差网络上的实验表明，单点弱拟凸性假设（θ > 1）和小μ在训练过程中成立，验证了理论框架的有效性。
• 实证结果证实，分阶段学习在多个数据集和损失函数下，均优于普通SGD在训练误差和测试误差收敛方面的表现。
• Hessian分析表明，ρ ≤ O(μ)的假设在深度网络中不成立，但理论仍适用，因为μ和θ的假设成立。