[论文解读] Online to Offline Conversions, Universality and Adaptive Minibatch Sizes

Kfir Y. Levy|arXiv (Cornell University)|May 30, 2017

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

本文提出了一种新颖的在线到离线转换框架，可将自适应在线算法转化为具备通用收敛保证的离线方法。该方法在凸与非凸设置下均实现自适应性能，且无需事先知晓光滑性参数，同时通过一种懒惰SGD变体实现随机优化中的自适应小批量大小调整，从而在高梯度区域降低方差。

ABSTRACT

We present an approach towards convex optimization that relies on a novel scheme which converts online adaptive algorithms into offline methods. In the offline optimization setting, our derived methods are shown to obtain favourable adaptive guarantees which depend on the harmonic sum of the queried gradients. We further show that our methods implicitly adapt to the objective's structure: in the smooth case fast convergence rates are ensured without any prior knowledge of the smoothness parameter, while still maintaining guarantees in the non-smooth setting. Our approach has a natural extension to the stochastic setting, resulting in a lazy version of SGD (stochastic GD), where minibathces are chosen \emph{adaptively} depending on the magnitude of the gradients. Thus providing a principled approach towards choosing minibatch sizes.

研究动机与目标

• 通过将在线自适应算法转换为具备强理论保证的方法，填补自适应离线优化的空白。
• 开发可隐式适应目标函数光滑性的方法，而无需事先知晓光滑性参数。
• 在随机优化中提出一种合理的小批量大小自适应选择方法，避免因使用更大批次而导致的理论性能下降。
• 确保通用收敛性——在已知光滑性时性能可匹配梯度下降——同时在非光滑设置下保持鲁棒性。

提出的方法

• 提出一种新颖的在线到离线转换方案，结合在线自适应算法、梯度归一化与重要性加权。
• 针对凸与强凸设置，分别设计AdaNGD与SC-AdaNGD，利用梯度的调和和来确定收敛速率。
• 提出Lazy-SGD作为随机扩展，通过在梯度范数较小的区域自适应增大小批量大小以降低方差。
• 采用改进的自适应估计过程（使用1/‖g̃ₛ‖²而非nₛ）以提升随机设置下的实际性能。
• 通过自适应学习率机制隐式利用目标函数结构，实现在光滑与非光滑情况下的通用性。
• 采用三重机制：在线自适应、梯度归一化与重要性加权，以确保鲁棒且自适应的收敛性。

实验结果

研究问题

• RQ1 能否系统性地将在线自适应算法转换为具备强理论保证的离线方法？
• RQ2 自适应优化方法是否可在不知晓光滑性参数的情况下实现与梯度下降相当的收敛速率？
• RQ3 在随机优化中，如何实现小批量大小的自适应选择，以在保持理论效率的同时提升实际性能？
• RQ4 所提方法能否实现通用性——在非光滑设置下匹配光滑情况下的性能——而无需显式估计光滑性？
• RQ5 自适应小批量选择对随机设置中方差降低与收敛速度有何影响？

主要发现

• AdaNGD与SC-AdaNGD在一般凸设置下实现O(1/√T)收敛，在光滑凸设置下实现O(1/T)收敛，即使在未知光滑性参数时亦成立。
• 在强凸情况下，方法在一般情形下实现O(1/T)收敛，在光滑情形下实现O(exp(−γT))收敛，其中γ为条件数。
• SC-AdaNGD方法展现出通用性：可自适应适应光滑性，在无需事先知晓光滑性的情况下，其性能优于标准GD与线搜索方法，即使在光滑设置下亦然。
• Lazy-SGD在凸与强凸设置下的收敛速率与标准SGD相当，同时在低梯度区域自适应增大小批量大小。
• 实验结果表明，SC-AdaNGD变体在非光滑与病态条件问题中显著优于固定步长与衰减步长的GD。
• 鲁棒性实验表明，SC-AdaNGD对小梯度噪声具有鲁棒性，在梯度受扰动时仍能保持稳定的收敛性能。