[论文解读] Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization

Daniel Golovin, Qiuyi Zhang|arXiv (Cornell University)|Jun 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 37被引用 13

一句话总结

本文提出了一种新颖的超体积标量化函数，可在多目标黑箱优化中实现对整个帕累托前沿的可证明收敛。通过从一个精心选择的分布中随机抽取标量化权重，该方法结合标准贝叶斯优化获取函数（如UCB或Thompson采样）时，可实现阶为$ widetilde{O}( sqrt{T})$的紧密超体积遗憾边界。

ABSTRACT

Single-objective black box optimization (also known as zeroth-order optimization) is the process of minimizing a scalar objective $f(x)$, given evaluations at adaptively chosen inputs $x$. In this paper, we consider multi-objective optimization, where $f(x)$ outputs a vector of possibly competing objectives and the goal is to converge to the Pareto frontier. Quantitatively, we wish to maximize the standard hypervolume indicator metric, which measures the dominated hypervolume of the entire set of chosen inputs. In this paper, we introduce a novel scalarization function, which we term the hypervolume scalarization, and show that drawing random scalarizations from an appropriately chosen distribution can be used to efficiently approximate the hypervolume indicator metric. We utilize this connection to show that Bayesian optimization with our scalarization via common acquisition functions, such as Thompson Sampling or Upper Confidence Bound, provably converges to the whole Pareto frontier by deriving tight hypervolume regret bounds on the order of $\widetilde{O}(\sqrt{T})$. Furthermore, we highlight the general utility of our scalarization framework by showing that any provably convergent single-objective optimization process can be effortlessly converted to a multi-objective optimization process with provable convergence guarantees.

研究动机与目标

• 解决多目标黑箱优化中缺乏理论收敛保证的问题，特别是针对依赖启发式标量化方法的算法。
• 克服直接优化超体积指标的计算不可行性，因为该指标的计算是#P难问题且不可微。
• 开发一种标量化框架，使得任何具有理论保证的单目标优化算法均可推广至多目标设置，并保持理论保证。
• 为线性或切比雪夫等启发式标量化方法提供理论基础更坚实的替代方案，这些方法在不同帕累托前沿形状下缺乏一致的性能保证。
• 通过随机采样将标量化选择与超体积指标关联，建立多目标优化的紧密遗憾边界。

提出的方法

• 提出一种新型标量化函数，称为超体积标量化，其根据点的超体积贡献将多目标输出映射为标量值。
• 从正单纯形$ mathcal{S}_+^{k-1}$上的分布$D_\lambda$中采样标量化权重$\lambda$，以确保覆盖整个目标空间。
• 将标量化目标$s_\lambda(F(x)) = \text{hypervolume}(F(x); \lambda)$用作真实超体积指标在单目标优化中的代理。
• 在标量化目标上应用标准贝叶斯优化，使用如上界置信区间（UCB）或Thompson采样等获取函数。
• 通过将标量化目标的期望改进与解集实际支配的超体积关联，推导出超体积遗憾边界。
• 利用超体积标量化函数的集中性和光滑性特性，对$T$轮迭代的累积遗憾进行有界。

实验结果

研究问题

• RQ1 能否从正单纯形上的分布中随机抽取标量化权重，以在多目标优化中可证明地近似超体积指标？
• RQ2 与标准标量化方法相比，使用所提出的超体积标量化时，贝叶斯优化的理论遗憾边界为何？
• RQ3 任何具有已知遗憾边界的单目标优化算法，是否可通过该标量化框架推广至多目标优化，并保持收敛保证？
• RQ4 在支配超体积和帕累托前沿覆盖方面，超体积标量化与线性和切比雪夫标量化相比，其性能如何？
• RQ5 帕累托前沿的凸性或形状在多大程度上影响超体积标量化与线性标量化之间的相对性能？

主要发现

• 所提出的超体积标量化实现了$\widetilde{O}(\sqrt{T})$的超体积遗憾边界，该边界紧致且与单目标贝叶斯优化的最佳已知边界一致。
• 实验结果表明，在无噪声环境下，UCB结合超体积标量化在支配超体积方面优于线性标量化和进化策略。
• 超体积标量化始终表现不劣于线性标量化，且在帕累托前沿非凸时通常显著更优。
• 在存在高斯观测噪声的情况下，超体积标量化仍保持优异性能，表明其对噪声评估具有鲁棒性。
• 该框架可将任何具有理论保证的单目标优化算法转换为具有理论保证的多目标算法。
• 当帕累托前沿非凸时，超体积标量化与线性标量化之间的性能差距最为显著，凸显该方法在捕捉复杂权衡方面的优势。