[论文解读] Using Well-Understood Single-Objective Functions in Multiobjective Black-Box Optimization Test Suites

Dimo Brockhoff, Tea Tušar+2 more|arXiv (Cornell University)|Apr 1, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 37被引用 42

一句话总结

本文提出了一种新颖的方法，通过结合来自成熟bbob基准的广为人知的单目标函数，构建多目标黑箱优化测试集。由此产生的bbob-biobj和bbob-biobj-ext测试集——分别包含55个和92个双目标函数——通过继承诸如非可分性、病态条件和多峰性等复杂且实际的困难，模拟了现实世界的问题结构，同时通过问题实例支持对确定性和随机求解器的性能比较。

ABSTRACT

Several test function suites are being used for numerical benchmarking of multiobjective optimization algorithms. While they have some desirable properties, like well-understood Pareto sets and Pareto fronts of various shapes, most of the currently used functions possess characteristics that are arguably under-represented in real-world problems. They mainly stem from the easier construction of such functions and result in improbable properties such as separability, optima located exactly at the boundary constraints, and the existence of variables that solely control the distance between a solution and the Pareto front. Here, we propose an alternative way to constructing multiobjective problems-by combining existing single-objective problems from the literature. We describe in particular the bbob-biobj test suite with 55 bi-objective functions in continuous domain, and its extended version with 92 bi-objective functions (bbob-biobj-ext). Both test suites have been implemented in the COCO platform for black-box optimization benchmarking. Finally, we recommend a general procedure for creating test suites for an arbitrary number of objectives. Besides providing the formal function definitions and presenting their (known) properties, this paper also aims at giving the rationale behind our approach in terms of groups of functions with similar properties, objective space normalization, and problem instances. The latter allows us to easily compare the performance of deterministic and stochastic solvers, which is an often overlooked issue in benchmarking.

研究动机与目标

• 为解决现有多目标测试集中过度强调人工、不切实际的特性（如可分性、基于边界定义的帕累托集，以及仅控制到帕累托前沿距离/位置的变量）的问题。
• 通过结合bbob基准中已确立的单目标函数及其已知的实际困难，创建更真实且多样的多目标测试问题集合。
• 通过引入具有受控变化的问题实例，实现对确定性和随机优化算法的公平且系统化的比较。
• 基于广为人知的单目标组件，提出一种通用且可扩展的框架，用于生成任意数量目标的测试集。
• 通过使人工测试函数更贴近现实黑箱优化问题中观察到的内在挑战，改进基准测试方法。

提出的方法

• 该方法通过组合bbob套件中的单目标函数对来构建双目标问题，同时保留其已知特性，如多峰性、病态条件性和非可分性。
• 每个双目标函数被定义为一对单目标函数，通过缩放和归一化确保两个目标对帕累托前沿的贡献均衡。
• 测试集在COCO平台上实现，支持标准化基准测试，并为确定性和随机求解器提供基于实例的评估能力。
• 根据共享的结构特性（例如弱结构化、高度结构化）对函数进行分组，以反映算法挑战并支持针对性分析。
• 该方法确保生成的问题真实反映实践中观察到的困难，避免人工特征，如最优解被限制在定义域边界上，或仅控制到帕累托前沿距离的变量。
• 提出一种通用流程，通过以结构化方式组合多个单目标函数，将该框架扩展至多于两个目标的问题。

实验结果

研究问题

• RQ1 如何设计多目标测试集，使其反映实际黑箱优化问题中复杂的、真实的困难，而非人工数学构造？
• RQ2 现有多目标测试集在多大程度上过度强调了在现实问题中不常见的特性，如可分性、基于边界的帕累托集，或仅控制距离/位置的变量？
• RQ3 能否通过结合bbob基准中广为人知的单目标函数，生成具有丰富且实际困难特征的多目标问题，以适用于严格的算法基准测试？
• RQ4 如何利用问题实例在多目标背景下公平比较确定性和随机优化算法的性能？
• RQ5 是否存在一种可扩展且系统化的方法，用于生成任意数量目标的多目标测试集，同时保持有意义的算法挑战？

主要发现

• bbob-biobj测试集包含55个双目标函数，源自bbob基准中广为人知的单目标函数，每个函数均保留了诸如非可分性和多峰性等复杂且真实的困难。
• 扩展的bbob-biobj-ext套件将函数数量增加至92个，提供了对多目标优化中结构和算法挑战更广泛的覆盖。
• 所提出的方法成功避免了诸如最优解位于定义域边界或仅控制到帕累托前沿距离的变量等人工特性，显著提升了真实性。
• 通过引入问题实例，实现了对确定性和随机求解器的直接且公平比较，弥补了现有基准测试实践中的关键空白。
• 函数根据共享特性（如弱结构化-弱结构化）分组，形成有意义的类别，便于对算法行为进行针对性分析。
• 该框架可通过组合多个单目标函数，生成任意数量目标的测试集，提供一种可扩展且可扩展的基准测试解决方案。