[论文解读] Uncertainty aware Search Framework for Multi-Objective Bayesian Optimization with Constraints

Syrine Belakaria, Aryan Deshwal+1 more|arXiv (Cornell University)|Aug 16, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 19被引用 9

一句话总结

该论文提出USeMOC，一种新颖的不确定性感知搜索框架，用于约束型多目标贝叶斯优化，通过两阶段选择过程减少昂贵的函数评估：首先利用低成本代理模型进行约束型多目标优化以识别有希望的候选解，然后基于不确定性选择最优候选解。USeMOC在模拟电路设计中将模拟次数减少了超过90%——相比基线方法节省了90.7%至93.3%——同时发现了质量更高的Pareto最优解。

ABSTRACT

We consider the problem of constrained multi-objective (MO) blackbox optimization using expensive function evaluations, where the goal is to approximate the true Pareto set of solutions satisfying a set of constraints while minimizing the number of function evaluations. We propose a novel framework named Uncertainty-aware Search framework for Multi-Objective Optimization with Constraints (USeMOC) to efficiently select the sequence of inputs for evaluation to solve this problem. The selection method of USeMOC consists of solving a cheap constrained MO optimization problem via surrogate models of the true functions to identify the most promising candidates and picking the best candidate based on a measure of uncertainty. We applied this framework to optimize the design of a multi-output switched-capacitor voltage regulator via expensive simulations. Our experimental results show that USeMOC is able to achieve more than 90 % reduction in the number of simulations needed to uncover optimized circuits.

研究动机与目标

• 解决目标冲突且评估代价高昂的昂贵、约束型多目标黑箱优化挑战。
• 通过将不确定性感知选择整合到两阶段搜索框架中，改进贝叶斯优化中的不确定性管理。
• 减少为逼近真实Pareto集合（在约束条件下）所需的昂贵函数评估次数。
• 在真实世界的模拟电路设计问题中，优于现有方法如PESMOC、NSGA-II和MOEAD，在解的质量和评估效率方面均表现更优。

提出的方法

• USeMOC采用两阶段搜索：首先使用获取函数作为真实目标的代理，求解低成本的约束型多目标优化问题。
• 采用高斯过程（GP）模型表示未知的目标函数和约束函数，通过均值μ(x)和标准差σ(x)进行不确定性估计。
• 所用获取函数为期望改进（EI）和置信下界（LCB），分别定义为EI(x) = σ(x)(αΦ(α) + φ(α)) 和 LCB(x) = μ(x) − β¹ᐟ²σ(x)。
• 基于不确定性度量，从代理MO问题的解集中选择有希望的候选解，以平衡探索与利用。
• 该方法应用于优化一个具有32个输入变量和9项目标的多输出开关电容电压调节器，包括效率、输出电压和纹波。
• 该方法将白盒约束（C₀）和黑盒约束（C₁–C₈）均整合到优化过程中，确保解的可行性。

实验结果

研究问题

• RQ1 两阶段不确定性感知搜索框架是否能提升约束型多目标贝叶斯优化的效率？
• RQ2 在收敛速度和解的质量方面，USeMOC与SOTA方法如PESMOC和MOEAD相比表现如何？
• RQ3 USeMOC在保持或提升Pareto前沿精度的同时，能在多大程度上减少昂贵模拟次数？
• RQ4 基于不确定性的选择整合是否能增强约束型多目标优化中的探索能力？

主要发现

• USeMOC结合EI和LCB获取函数在超体积度量上显著优于所有基线方法，以更少的模拟次数实现了更优的Pareto前沿逼近。
• 与性能最佳的基线MOEAD相比，USeMOC在模拟次数上实现了90.7%的提升，意味着其将模拟次数减少了90%以上，即可达到相似或更优的解质量。
• 采用USeMOC-EI优化的电路效率达到76.2%，比MOEAD优化设计高出5.25%，同时保持了所需的输出电压和纹波约束。
• MOEAD和USeMOC-EI设计均满足100mV纹波要求，并在不同负载下将目标输出电压保持在0.52V–0.61V（1/3倍比）和1.07V–1.12V（2/3倍比）范围内。
• 该框架成功处理了混合约束类型，包括一个白盒约束（C₀）和八个黑盒约束（C₁–C₈），在真实世界模拟电路设计中表现出强健性。