[论文解读] Pareto Set Learning for Expensive Multi-Objective Optimization

Xi Lin, Zhiyuan Yang+2 more|arXiv (Cornell University)|Oct 16, 2022

Advanced Multi-Objective Optimization Algorithms被引用 23

一句话总结

PSL 从偏好中的权衡映射到整个帕累托集的参数映射，从而实现高效的批量多目标贝叶斯优化（MOBO）及在有限评估下的灵活决策。

ABSTRACT

Expensive multi-objective optimization problems can be found in many real-world applications, where their objective function evaluations involve expensive computations or physical experiments. It is desirable to obtain an approximate Pareto front with a limited evaluation budget. Multi-objective Bayesian optimization (MOBO) has been widely used for finding a finite set of Pareto optimal solutions. However, it is well-known that the whole Pareto set is on a continuous manifold and can contain infinite solutions. The structural properties of the Pareto set are not well exploited in existing MOBO methods, and the finite-set approximation may not contain the most preferred solution(s) for decision-makers. This paper develops a novel learning-based method to approximate the whole Pareto set for MOBO, which generalizes the decomposition-based multi-objective optimization algorithm (MOEA/D) from finite populations to models. We design a simple and powerful acquisition search method based on the learned Pareto set, which naturally supports batch evaluation. In addition, with our proposed model, decision-makers can readily explore any trade-off area in the approximate Pareto set for flexible decision-making. This work represents the first attempt to model the Pareto set for expensive multi-objective optimization. Experimental results on different synthetic and real-world problems demonstrate the effectiveness of our proposed method.

研究动机与目标

• 激励评估代价高昂的多目标优化问题。
• 提出一种方法以近似整个帕累托集，而非有限子集。
• 通过将偏好映射到帕累托解来实现灵活的决策。
• 提供一个轻量级、具备批量能力的获取过程。
• 在合成基准和实际工程问题上展示有效性。

提出的方法

• 引入一个集合模型，通过增强的切比雪夫标量化将折衷偏好映射到帕累托解。
• 使用神经网络（多层感知机，MLP）作为帕累托集模型，对偏好单纯形中任意 λ 输出 x(λ)。
• 用每个目标的高斯过程代理进行训练，并对 theta 参数执行基于梯度的优化。
• 通过对采样偏好（蒙特卡洛）上的期望增强切比雪夫标量化最小化来优化 theta。
• 采用对 f 的下置信界代理以在 MOBO 中平衡探索/利用。
• 开发一个批量选择过程：对偏好进行采样、从学习到的帕累托集生成候选解，并通过最大化超体积改进来选择一个批次。

实验结果

研究问题

• RQ1 在高成本的 MOBO 中，是否可以将帕累托集学习为偏好到帕累托-最优解的连续映射？
• RQ2 与有限种群 MOBO 方法相比，PSL 是否能够实现高效的批量候选选择并更好地探索帕累托集？
• RQ3 在合成与现实世界问题上，学习得到的帕累托集对真实帕累托集/前沿的近似程度如何？
• RQ4 相对于现有 MOBO 方法，PSL 的计算开销是多少？
• RQ5 通过允许用户在帕累托集上导航权衡，PSL 是否支持灵活的决策？

主要发现

问题	#目标数	MOEA/D-EGO	TSEMO	USeMO-EI	DGEMO	qEHVI	PSL: 模型 + 选择
F1	2	40.95	4.82	6.12	61.48	36.71	6.59
DTLZ2	3	71.83	7.28	8.76	83.57	75.92	8.61

• PSL 能够近似整个帕累托集及其前沿，通过偏好控制实现权衡的探索。
• 基于 PSL 的 MOBO 在合成基准和真实问题上达到有竞争力或优于若干 MOBO 基线的超体积进展。
• 学习得到的帕累托集是可视化的，决策者可据此选择偏好的权衡。
• PSL 的每次迭代运行时间更低或相当，并因批量选择带来额外收益。
• 批量 PSL 方法在维持性能提升的同时支持高效的批量评估。
• 实验表明 PSL 能学习出与合成任务的真实前沿高度吻合的帕累托前沿，在真实世界设计上近似前沿。