[论文解读] Predictive Entropy Search for Multi-objective Bayesian Optimization

Daniel Hernández-Lobato, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Multi-Objective Optimization Algorithms被引用 49

一句话总结

PESMO 是一种用于多目标优化的贝叶斯优化方法，通过最小化帕累托集后验分布的熵来选择评估点。它将获取函数分解为与目标相关的分量，实现评估的解耦，并使计算复杂度与目标数量呈线性关系，从而在较少的函数评估次数下实现更优性能，尤其在高维目标空间中表现突出。

ABSTRACT

We present PESMO, a Bayesian method for identifying the Pareto set of multi-objective optimization problems, when the functions are expensive to evaluate. The central idea of PESMO is to choose evaluation points so as to maximally reduce the entropy of the posterior distribution over the Pareto set. Critically, the PESMO multi-objective acquisition function can be decomposed as a sum of objective-specific acquisition functions, which enables the algorithm to be used in \emph{decoupled} scenarios in which the objectives can be evaluated separately and perhaps with different costs. This decoupling capability also makes it possible to identify difficult objectives that require more evaluations. PESMO also offers gains in efficiency, as its cost scales linearly with the number of objectives, in comparison to the exponential cost of other methods. We compare PESMO with other related methods for multi-objective Bayesian optimization on synthetic and real-world problems. The results show that PESMO produces better recommendations with a smaller number of evaluations of the objectives, and that a decoupled evaluation can lead to improvements in performance, particularly when the number of objectives is large.

研究动机与目标

• 解决在函数评估昂贵且存在噪声的情况下，优化多个相互冲突目标的挑战。
• 克服现有方法依赖标量化、需要同时评估所有目标，或随目标数量呈指数级增长的局限性。
• 通过最小化后验熵来最大化关于帕累托集的信息增益，从而实现高效探索，减少评估次数。
• 支持解耦评估场景，使各项目标可独立评估，尤其在目标评估成本或复杂度差异较大时具有优势。
• 实现与目标数量呈线性关系的计算成本扩展，使该方法在多于三个目标的问题中依然实用。

提出的方法

• 将获取函数定义为帕累托集后验分布熵的期望减少量。
• 使用高斯过程对每个目标函数进行建模，捕捉不确定性并支持概率推理。
• 将全局获取函数分解为 K 个独立的获取函数，每个目标对应一个，实现独立评估。
• 通过最大化关于帕累托集的信息增益来选择评估点，采用预测熵最小化策略。
• 通过允许基于各项目标独立获取值，在每次迭代中仅选择最具信息量的目标，实现解耦评估支持。
• 通过利用获取函数的可加结构，使方法与目标数量呈线性扩展，避免指数级复杂度。

实验结果

研究问题

• RQ1 对帕累托集进行熵最小化，是否能比现有的信息论方法或基于期望改进的方法实现更高效的贝叶斯优化？
• RQ2 将获取函数分解为与目标相关的分量，是否能有效支持多目标优化中的解耦评估？
• RQ3 在超体积和收敛速度方面，PESMO 与 ParEGO、SMS-EGO 和期望超体积改进等最先进方法相比表现如何？
• RQ4 PESMO 是否能有效识别并优先处理多目标设置中的困难目标，特别是在评估成本差异较大的情况下？
• RQ5 与指数级成本的替代方法不同，PESMO 的计算成本与目标数量呈线性扩展，是否使其适用于多于三个目标的问题？

主要发现

• 在神经网络架构搜索任务中，PESMO 经过 100 次评估后达到最高的超体积（67.6 ± 0.1），优于所有其他方法，包括 SUR 的解耦版本和耦合版 PESMO。
• 经过 200 次评估后，PESMO（在耦合与解耦设置下）均达到最佳超体积（67.8 ± 0.1），其中解耦版本在早期收敛阶段表现略优。
• PESMO 的解耦版本仅评估少数几次预测时间目标，正确识别其为更简单且信息量较低，从而将更多资源集中于成本更高的预测误差目标。
• PESMO 找到的神经网络在验证集上的预测误差接近 1.5%，表现出高精度的同时保持了快速推理时间。
• 与耦合评估相比，解耦评估设置显著提升了性能，尤其在目标数量较多时优势明显。
• PESMO 的计算成本与目标数量呈线性扩展，而 ParEGO 和 SMS-EGO 等方法则呈指数级扩展，因此 PESMO 在多目标问题中更具可行性。