[论文解读] Optuna: A Next-generation Hyperparameter Optimization Framework

Plambeck, Swantje, Schmidt, Maximilian+3 more|arXiv (Cornell University)|Jul 25, 2019

Machine Learning and Data Classification参考文献 23被引用 980

一句话总结

Optuna 是下一代超参数优化框架，引入了基于运行时定义的 API，用于动态构建搜索空间，具备高效的剪枝与采样算法，并拥有可扩展、易于部署的架构。它在效率和易用性方面均优于现有框架，在分布式工作节点中表现出线性可扩展性，并在真实应用场景（如目标检测、HPL 基准测试和数据库调优）中通过剪枝实现了显著加速。

ABSTRACT

Hybrid systems, which combine both continuous and discrete behavior, are used in many fields, including robotics, biological systems, and control systems. However, due to their complexity, finding an accurate model is a challenge. This paper discusses the usage of symbolic regression to learn hybrid systems from data and specifically analyses learning parameters for a recent algorithm. Symbolic regression is a powerful tool that can automatically discover accurate and interpretable mathematical models in the form of symbolic expressions. Models generated by symbolic regression are a valuable tool for system identification and diagnosis, e.g., to predict future system behavior or detect anomalies. A major opportunity of our approach is the ability to detect transitions between different continuous behaviors of a system directly based on the dynamics. From a diagnosis perspective, this can advantageously be used to detect the system entering fault modes and identify their models. This paper presents a parameter study for a symbolic regression based identification algorithm.

研究动机与目标

• 解决现有超参数优化框架需要静态、预定义搜索空间的局限性。
• 实现复杂超参数空间的动态、运行时构建，尤其适用于具有条件或可变架构的模型。
• 通过集成、可自定义的剪枝策略以及 TPE 和 ASHA 等先进采样策略，提升优化效率。
• 设计一个通用性强、易于部署的框架，支持轻量级交互式实验与大规模分布式计算。
• 在深度学习之外的多样化真实应用场景中，证明该框架的有效性，包括高性能计算与数据库调优。

提出的方法

• 引入基于运行时定义的 API，通过运行时的实时试验对象动态构建超参数搜索空间。
• 采用基于研究的架构，每个优化运行是一个 Study，每次评估是一个 Trial，由中央研究对象统一管理。
• 使用基于树状结构帕尔兹估计器（TPE）的贝叶斯优化，以及通过 ASHA 剪枝算法实现自适应资源分配。
• 采用客户端-服务器模型，支持顺序与分布式优化，且可随工作节点数量线性扩展。
• 通过试验对象上的方法链式调用，支持用户自定义条件超参数与动态架构搜索（如神经网络中层数与神经元数的可变性）。
• 集成剪枝策略，监控中间结果并提前终止表现不佳的试验，从而减少资源浪费。

实验结果

研究问题

• RQ1 基于运行时定义的 API 是否能显著简化神经架构搜索中复杂、条件性超参数空间的指定？
• RQ2 与现有框架的静态配置相比，动态搜索空间构建在可用性与表达能力方面有何影响？
• RQ3 在计算资源受限的条件下，高效的剪枝与采样算法能在多大程度上提升优化效率？
• RQ4 统一框架是否能高效地从轻量级交互式实验扩展到大规模分布式超参数调优？
• RQ5 Optuna 在真实世界、非深度学习工作负载（如 HPC 基准测试与数据库配置）中的表现如何？

主要发现

• Optuna 的基于运行时定义的 API 允许动态构建超参数空间，实现复杂、条件性架构（如深度可变的神经网络）的构建，仅需极少代码且无需预先配置。
• 在分布式环境中，该框架实现了线性可扩展性：不同工作节点数量下测试误差保持稳定，表明负载分配高效且通信开销极低。
• 通过剪枝（如 ASHA），Optuna 在 RocksDB 上 4 小时内探索了 937 组参数配置，而未使用剪枝时仅探索了 39 组，平均计算时间从 372 秒降至 30 秒。
• 在 Open Images 目标检测 2018 竞赛中，Optuna 帮助开发出获得第二名的模型（PFDet），证明其在大规模机器学习任务中的实际有效性。
• Optuna 缩短了超级计算机 HPL 基准测试中寻找最优参数的时间，表明其在深度学习之外同样具有实用价值。
• 在 FFmpeg 编码任务中，Optuna 发现的参数配置在重建误差上与第二好的预设相当，证明其在非机器学习系统调优中的有效性。