[论文解读] Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm

Bin Gu, Guodong Liu+3 more|arXiv (Cornell University)|Feb 17, 2021

Machine Learning and Data Classification参考文献 34被引用 4

一句话总结

本文提出HOZOG，一种新颖的超参数优化方法，通过使用零阶超梯度，将黑箱优化与基于梯度的方法相结合，实现了大规模超参数（最多1,250个）的可扩展、高效且灵活的调优。该方法在有效性、效率、可扩展性、简洁性和灵活性（E2S2F）方面达到当前最优性能，无需通过反向传播计算梯度，其收敛速度和在非光滑或复杂函数上的适用性均优于现有方法。

ABSTRACT

Modern machine learning algorithms usually involve tuning multiple (from one to thousands) hyperparameters which play a pivotal role in terms of model generalizability. Black-box optimization and gradient-based algorithms are two dominant approaches to hyperparameter optimization while they have totally distinct advantages. How to design a new hyperparameter optimization technique inheriting all benefits from both approaches is still an open problem. To address this challenging problem, in this paper, we propose a new hyperparameter optimization method with zeroth-order hyper-gradients (HOZOG). Specifically, we first exactly formulate hyperparameter optimization as an A-based constrained optimization problem, where A is a black-box optimization algorithm (such as deep neural network). Then, we use the average zeroth-order hyper-gradients to update hyperparameters. We provide the feasibility analysis of using HOZOG to achieve hyperparameter optimization. Finally, the experimental results on three representative hyperparameter (the size is from 1 to 1250) optimization tasks demonstrate the benefits of HOZOG in terms of simplicity, scalability, flexibility, effectiveness and efficiency compared with the state-of-the-art hyperparameter optimization methods.

研究动机与目标

• 解决现代机器学习模型中大规模超参数（最多1,250个）优化的挑战。
• 统一黑箱优化（简洁性、灵活性）与基于梯度方法（效率、可扩展性）在超参数调优中的优势。
• 开发一种在多种学习算法和超参数规模下均有效、高效、可扩展、简洁且灵活（E2S2F）的方法。
• 在传统梯度方法失效的非光滑或复杂设置中实现超参数优化。

提出的方法

• 将超参数优化建模为基于A的约束优化问题，其中A为黑箱算法（例如深度神经网络）。
• 引入零阶超梯度（ZOHG），在无需通过反向传播显式计算梯度的情况下估计超梯度方向。
• 通过梯度下降使用平均零阶超梯度更新超参数，实现类似黑箱方法的灵活性与基于梯度方法的效率。
• 在外部目标函数满足Lipschitz连续性条件下，建立理论可行性。
• 采用有限差分近似以黑箱方式估计超梯度，避免对模型特定梯度实现的需求。
• 将该方法应用于双层优化问题：在固定超参数下，最小化验证误差以实现最优模型训练。

实验结果

研究问题

• RQ1 能否开发一种超参数优化方法，既继承黑箱优化的简洁性与灵活性，又能实现基于梯度方法的效率与可扩展性？
• RQ2 是否可能在不依赖精确梯度计算的前提下，实现对高维超参数空间（最多1,250维）的有效超参数调优？
• RQ3 与最先进的黑箱和基于梯度的方法相比，零阶超梯度方法在收敛速度和泛化能力方面表现如何？
• RQ4 所提出的方法是否可应用于传统梯度方法失效的非光滑或不连续目标函数？

主要发现

• 在早期训练阶段，HOZOG的收敛速度优于REV（一种精确梯度方法），在1,250个超参数下完成一次超梯度计算仅需约24秒，而REV需约40秒。
• 在所有超参数规模（500和1,250）下，HOZOG在次优性、梯度范数和测试误差方面均优于随机搜索（RS）和BOHB。
• 在超参数规模高达1,250的场景下，HOZOG展现出卓越的可扩展性，而GPBO、FOR和HOAG等方法因实现限制而无法运行。
• 该方法在数据超清洗任务中表现强劲，显示出在非光滑设置下的鲁棒性，而精确梯度方法在此类场景中不可行。
• HOZOG保持了高度的灵活性与简洁性，无需编写自定义梯度代码，而RFHO等其他基于梯度的方法则需要。
• 理论分析证实了在Lipschitz连续性条件下的可行性，为连续目标函数提供了收敛性保证。