[论文解读] Non-greedy Gradient-based Hyperparameter Optimization Over Long Horizons

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 29被引用 8

一句话总结

该论文提出了一种非贪婪的、基于梯度的超参数优化方法，用于长时序任务，通过共享连续的超参数并利用超梯度符号来检测收敛性。该方法在仅约10⁴次内层步骤中实现有效元学习，且仅需约10次外层步骤，相较于贪婪法和随机搜索，在相同计算预算下于CIFAR-10上性能提升近10%。

ABSTRACT

Gradient-based meta-learning has earned a widespread popularity in few-shot learning, but remains broadly impractical for tasks with long horizons (many gradient steps), due to memory scaling and gradient degradation issues. A common workaround is to learn meta-parameters online, but this introduces greediness which comes with a significant performance drop. In this work, we enable non-greedy meta-learning of hyperparameters over long horizons by sharing hyperparameters that are contiguous in time, and using the sign of hypergradients rather than their magnitude to indicate convergence. We implement this with forward-mode differentiation, which we extend to the popular momentum-based SGD optimizer. We demonstrate that the hyperparameters of this optimizer can be learned non-greedily without gradient degradation over ∼104 inner gradient steps, by only requiring ∼10 outer gradient steps. On CIFAR-10, we outperform greedy and random search methods for the same computational budget by nearly 10%. Code will be available upon publication.

研究动机与目标

• 解决由于内存扩展和梯度退化导致的基于梯度的元学习在长时序任务中的局限性。
• 克服长序列中贪婪在线元学习导致的性能下降问题。
• 实现在无梯度退化情况下的长内层轨迹非贪婪超参数优化。
• 开发一种可扩展的方法，仅需极少外层优化步骤即可实现长时序适应。
• 在长时序少样本学习任务中实现最先进性能，同时保持高效计算。

提出的方法

• 将超参数在连续时间步上共享，以降低内存与梯度复杂度。
• 利用超梯度符号而非其大小来检测收敛性，从而实现非贪婪更新。
• 采用前向模式微分高效计算超梯度，扩展至基于动量的SGD。
• 利用超参数的时间连续性，稳定长时序优化过程。
• 外层优化仅需约10步，即可在约10⁴次内层梯度步骤中训练超参数。
• 通过聚焦于超梯度信号的符号一致性而非大小，避免梯度退化。

实验结果

研究问题

• RQ1 能否在不发生梯度退化的情况下，实现在长时序上的非贪婪超参数优化？
• RQ2 与基于大小的方法相比，基于符号的收敛性检测在性能上如何提升？
• RQ3 在长时序元学习中，超参数共享在多大程度上可降低内存与计算成本？
• RQ4 该方法是否能在比贪婪法或随机搜索更少的外层优化步骤下实现更优性能？
• RQ5 该方法在CIFAR-10等少样本学习基准测试的长序列任务中可扩展性如何？

主要发现

• 该方法在约10⁴次内层梯度步骤中实现了非贪婪超参数优化，且无梯度退化。
• 仅需约10次外层梯度步骤，即可在长时序上有效训练超参数。
• 在CIFAR-10上，该方法在相同计算预算下相较于贪婪法和随机搜索性能提升近10%。
• 利用超梯度符号进行收敛性检测，可在不依赖大小衰减的情况下实现稳定、非贪婪的学习。
• 将前向模式微分扩展至基于动量的SGD，实现了高效且可扩展的超梯度计算。
• 在时间步上共享超参数显著降低了长时序任务中的内存与计算开销。