[论文解读] OpenBox: A Python Toolkit for Generalized Black-box Optimization

Huaijun Jiang, Yu Shen+6 more|arXiv (Cornell University)|Apr 26, 2023

Metaheuristic Optimization Algorithms Research被引用 6

一句话总结

OpenBox 是一个用于广义黑箱优化（BBO）的 Python 工具包，通过提供模块化、用户友好的框架，解决了现有系统在多目标、约束和分类参数优化方面的局限性。它集成了最先进的算法（如贝叶斯优化和 CMA-ES），具备自动算法选择功能，并在超参数调优和数据库优化等多样化实际应用中展现出卓越的性能与效率。

ABSTRACT

Black-box optimization (BBO) has a broad range of applications, including automatic machine learning, experimental design, and database knob tuning. However, users still face challenges when applying BBO methods to their problems at hand with existing software packages in terms of applicability, performance, and efficiency. This paper presents OpenBox, an open-source BBO toolkit with improved usability. It implements user-friendly interfaces and visualization for users to define and manage their tasks. The modular design behind OpenBox facilitates its flexible deployment in existing systems. Experimental results demonstrate the effectiveness and efficiency of OpenBox over existing systems. The source code of OpenBox is available at https://github.com/PKU-DAIR/open-box.

研究动机与目标

• 解决广义黑箱优化（BBO）中缺乏全面、可扩展且用户友好的平台的问题，涵盖多目标、约束和分类参数。
• 克服现有 BBO 工具因功能受限、算法支持不足导致性能不稳定以及串行执行效率低下等局限。
• 通过模块化架构和对新手与专家用户均友好的接口，实现灵活部署于真实系统中。
• 通过集成先进算法并基于问题特征实现自动配置，提升优化的效率与效果。
• 通过可扩展且可扩展的设计，支持在自动化机器学习、数据库调优和交通仿真等领域的广泛应用。

提出的方法

• 设计包含三个核心组件的模块化系统架构：Advisor（优化算法引擎）、Executor（函数评估管理器）和 Visualizer（实时监控与分析工具）。
• 支持 ask-and-tell 与封装服务接口，实现与现有工作流和系统的无缝集成。
• 集成大量先进的 BBO 算法，包括基于高斯过程和概率随机森林代理模型的贝叶斯优化、进化算法以及 CMA-ES。
• 基于问题特征实现自动算法选择——例如在高维或大规模预算问题中切换至概率随机森林，以避免计算不兼容。
• 提供可视化工具，包括收敛曲线、基于 SHAP 的特征重要性分析，以及多目标优化的帕累托前沿/超体积图表。
• 通过支持串行与并行优化执行，确保可扩展性，实现对分布式计算资源的高效利用。

Figure 1: Simplified overview of supported scenarios and built-in algorithms in OpenBox .

实验结果

研究问题

• RQ1 如何设计一个 BBO 工具包，以支持包括多目标、约束和分类参数在内的广义优化场景？
• RQ2 哪些架构与算法选择能够实现在多样化 BBO 问题上的稳定且高性能优化？
• RQ3 自动算法与超参数选择是否能在无需专家调优的情况下提升优化效率？
• RQ4 先进可视化工具与用户友好接口的集成，在真实 BBO 应用中如何提升可用性与可解释性？
• RQ5 统一的 BBO 工具包在性能、可扩展性与真实世界部署方面，能在多大程度上超越现有专用平台？

主要发现

• OpenBox 在广泛的 BBO 任务中优于现有系统，展现出更优的优化效率与更快的收敛速度。
• 该工具包成功处理了复杂的实际问题，包括数据库调优（DBTune）、交通仿真和图神经架构搜索（SGL），证明了其实际应用价值。
• OpenBox 在 CIKM 2021 AnalytiCup Track 2 中获得第一名，验证了其在工业基准测试中的有效性。
• OpenBox 的组件已在腾讯和字节跳动的生产系统中部署，证实其在真实环境中的可扩展性与鲁棒性。
• 自动算法选择机制能有效适应问题特征，例如在高维搜索空间中切换至更可扩展的代理模型（如概率随机森林）。
• 可视化工具（包括基于 SHAP 的重要性分析与帕累托前沿追踪）提供了可操作的洞察，提升了优化过程中的模型可解释性。

Figure 2: System overview of OpenBox , including the system architecture (upper left), an example of the ask-and-tell interface using Advisor (right), and an example of visualization interfaces (bottom left).