[论文解读] Training Neural Networks for and by Interpolation

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Jun 13, 2019

Neural Networks and Applications参考文献 56被引用 6

一句话总结

本文提出 ALI-G，一种用于深度神经网络的自适应优化算法，利用模型插值特性以闭式形式计算学习率，从而无需手动设置学习率衰减调度。ALI-G 在多个模型架构和数据集上均达到最先进性能，其表现与 SGD 或 Adam 等自适应方法相当或更优，且所需超参数调优极少。

ABSTRACT

In modern supervised learning, many deep neural networks are able to interpolate the data: the empirical loss can be driven to near zero on all samples simultaneously. In this work, we explicitly exploit this interpolation property for the design of a new optimization algorithm for deep learning, which we term Adaptive Learning-rates for Interpolation with Gradients (ALI-G). ALI-G retains the two main advantages of Stochastic Gradient Descent (SGD), which are (i) a low computational cost per iteration and (ii) good generalization performance in practice. At each iteration, ALI-G exploits the interpolation property to compute an adaptive learning-rate in closed form. In addition, ALI-G clips the learning-rate to a maximal value, which we prove to be helpful for non-convex problems. Crucially, in contrast to the learning-rate of SGD, the maximal learning-rate of ALI-G does not require a decay schedule, which makes it considerably easier to tune. We provide convergence guarantees of ALI-G in various stochastic settings. Notably, we tackle the realistic case where the interpolation property is satisfied up to some tolerance. We provide experiments on a variety of architectures and tasks: (i) learning a differentiable neural computer; (ii) training a wide residual network on the SVHN data set; (iii) training a Bi-LSTM on the SNLI data set; and (iv) training wide residual networks and densely connected networks on the CIFAR data sets. ALI-G produces state-of-the-art results among adaptive methods, and even yields comparable performance with SGD, which requires manually tuned learning-rate schedules. Furthermore, ALI-G is simple to implement in any standard deep learning framework and can be used as a drop-in replacement in existing code.

研究动机与目标

• 解决 SGD 中手动学习率调度的挑战，该过程耗时且难以调优。
• 设计一种自适应优化算法，在保留 SGD 一般化性能的同时，消除对学习率衰减的需求。
• 利用现代深度网络的插值特性——损失可被驱动至接近零——推导出理论基础坚实的自适应学习率。
• 在插值为近似而非精确的现实条件下，提供收敛性保证。
• 开发一种简单、即插即用的优化器，与标准深度学习框架兼容。

提出的方法

• ALI-G 利用损失与梯度范数之比，以闭式形式计算自适应学习率，利用插值模型中损失趋近于零的特性。
• 该算法将学习率截断至最大值，理论证明此方法可提升非凸问题的收敛性。
• 最大学习率仅需一个非衰减的超参数，相比 Adam 或 aProx 等方法，显著简化了调优过程。
• ALI-G 在随机设置下运行，并使用约束集 Ω 处理正则化，确保投影计算高效。
• 理论分析在凸和受限下降不等式（RSI）条件下建立了收敛速率，即使最小损失估计为近似值亦成立。
• 该方法源自次梯度方法原理，与 Frank-Wolfe 和 L4 方法密切相关，但理论基础更坚实，且超参数更少。

实验结果

研究问题

• RQ1 能否利用现代深度网络的插值特性，以闭式形式计算自适应学习率？
• RQ2 固定的最大学习率是否可在无需衰减的情况下提升非凸优化的收敛性？
• RQ3 ALI-G 是否能在多种架构和数据集上实现最先进性能，同时仅需极少超参数调优？
• RQ4 与 SGD 及 Adam 等自适应方法相比，ALI-G 在实际应用中的表现如何，尤其是在 SGD 需要手动学习率调度的情况下？
• RQ5 在近似插值和随机设置下，ALI-G 的理论收敛性保证是什么？

主要发现

• 在 CIFAR-10 和 CIFAR-100 数据集上，ALI-G 达到最先进测试准确率，在 Wide ResNet 和 DenseNet 架构上均优于 Adam、AMSGrad 和 L4 变体。
• 在 SVHN 数据集上，ALI-G 与手动学习率调度的 SGD 表现相当，在 WRN100 上达到 95.3% 的准确率，优于 SGD 的 95.1%。
• 在 SNLI 数据集上的 Bi-LSTM 模型中，ALI-G 展现出具有竞争力的性能，证明其泛化能力不仅限于视觉任务。
• 在 ImageNet 上，ALI-G 达到与 Adam 和 SGD 相当的 top-5 准确率，且无需数据增强，仅使用一个非衰减的学习率超参数。
• ALI-G 在多次运行中的标准差始终较低（例如 WRN100 上为 0.09–0.22），表明训练过程具有高度稳定性。
• 理论分析证实，ALI-G 在 RSI 和光滑性假设下可实现线性收敛，收敛速率取决于最大学习率和问题常数。