[论文解读] Training Stronger Baselines for Learning to Optimize

Tianlong Chen, Weiyi Zhang+5 more|arXiv (Cornell University)|Oct 18, 2020

Machine Learning and Data Classification参考文献 40被引用 6

一句话总结

本文提出改进的训练技术——渐进式课程学习与离策略模仿学习，显著提升现有学习优化（L2O）模型的性能，而无需修改其模型架构。通过缓解截断偏差与梯度爆炸问题，这些方法使最简单的L2O基线模型在多个任务上超越更复杂的当前最先进（SOTA）模型，表明更好的训练可释放L2O模型的潜力，其效果甚至超过单纯依赖架构创新。

ABSTRACT

Learning to optimize (L2O) has gained increasing attention since classical optimizers require laborious problem-specific design and hyperparameter tuning. However, there is a gap between the practical demand and the achievable performance of existing L2O models. Specifically, those learned optimizers are applicable to only a limited class of problems, and often exhibit instability. With many efforts devoted to designing more sophisticated L2O models, we argue for another orthogonal, under-explored theme: the training techniques for those L2O models. We show that even the simplest L2O model could have been trained much better. We first present a progressive training scheme to gradually increase the optimizer unroll length, to mitigate a well-known L2O dilemma of truncation bias (shorter unrolling) versus gradient explosion (longer unrolling). We further leverage off-policy imitation learning to guide the L2O learning, by taking reference to the behavior of analytical optimizers. Our improved training techniques are plugged into a variety of state-of-the-art L2O models, and immediately boost their performance, without making any change to their model structures. Especially, by our proposed techniques, an earliest and simplest L2O model can be trained to outperform the latest complicated L2O models on a number of tasks. Our results demonstrate a greater potential of L2O yet to be unleashed, and urge to rethink the recent progress. Our codes are publicly available at: https://github.com/VITA-Group/L2O-Training-Techniques.

研究动机与目标

• 为解决L2O中学习优化器的不稳定与泛化能力差的问题，其根源在于截断偏差与梯度爆炸之间的权衡。
• 探究改进训练技术是否能带来比设计更复杂L2O模型更大的性能提升。
• 提供实用、即插即用的训练增强方法，提升现有SOTA L2O模型的性能，且无需修改架构。
• 建立更强、更可靠的基线，以实现未来L2O进展的公平评估。

提出的方法

• 引入渐进式课程学习方案，在训练过程中逐步增加L2O模型的展开长度，以平衡短期稳定性与长期优化质量。
• 通过使用手工设计的优化器（如Adam、SGD）作为专家示范，应用离策略模仿学习来引导L2O策略，提升在多样化优化目标上的泛化能力。
• 采用行为克隆目标，使L2O策略与解析优化器的优化轨迹对齐，将领域知识注入训练过程。
• 结合课程学习与模仿学习，共同稳定训练并增强泛化能力，且不修改L2O模型的架构。
• 以元学习方式训练L2O模型，最小化在优化目标分布上的损失，同时应用所提出的训练技术以提升收敛性与鲁棒性。
• 采用标准LSTM作为L2O模型架构，聚焦于训练动态而非模型结构，以证明训练质量可超越架构复杂度。

实验结果

研究问题

• RQ1 仅通过训练技术是否能显著提升现有L2O模型的性能，而无需架构变更？
• RQ2 渐进式展开如何缓解L2O训练中截断偏差与梯度爆炸之间的权衡？
• RQ3 从解析优化器进行离策略模仿学习，在多大程度上能提升学习优化器在多样化问题实例上的泛化能力？
• RQ4 当使用改进的训练技术时，一个简单、早期的L2O模型是否能超越更复杂、近期的SOTA模型？
• RQ5 结合课程学习与模仿学习是否能在L2O训练中产生协同增益？

主要发现

• 所提出的训练技术在不修改架构的前提下，持续提升了所有评估的SOTA L2O模型性能。
• 原始的、最简单的L2O模型（L2O-DM [1]）在使用所提技术训练后，超越了更复杂的近期模型。
• 渐进式课程学习有效降低了截断偏差并稳定了训练，尤其在较长的优化轨迹中表现显著。
• 离策略模仿学习显著提升了泛化能力，使L2O能够成功迁移至复杂、未见过的优化目标，如NAS-CIFAR与LeNet。
• 结合课程学习与模仿学习可获得最强的性能提升，优于单独使用任一方法。
• 增强后的L2O模型在多个任务（包括MLP-orig与Conv-MNIST）上，超越了经最优超参数调优的手动设计优化器（如Adam、RMSProp、SGD）。