[论文解读] pysamoo: Surrogate-Assisted Multi-Objective Optimization in Python

Julian Blank, Kalyanmoy Deb|arXiv (Cornell University)|Apr 12, 2022

Advanced Multi-Objective Optimization Algorithms被引用 7

一句话总结

pysamoo 是一个 Python 框架，扩展了 pymoo，以支持计算成本高昂问题的代理辅助多目标优化。它将代理模型（例如径向基函数）集成到 NSGA-II 和 CMA-ES 等元启发式算法中，以减少昂贵的函数评估次数，在 100–500 次评估预算的限制下显著提升收敛速度。

ABSTRACT

Significant effort has been made to solve computationally expensive optimization problems in the past two decades, and various optimization methods incorporating surrogates into optimization have been proposed. However, most optimization toolboxes do not consist of ready-to-run algorithms for computationally expensive problems, especially in combination with other key requirements, such as handling multiple conflicting objectives or constraints. Thus, the lack of appropriate software packages has become a bottleneck for solving real-world applications. The proposed framework, pysamoo, addresses these shortcomings of existing optimization frameworks and provides multiple optimization methods for handling problems involving time-consuming evaluation functions. The framework extends the functionalities of pymoo, a popular and comprehensive toolbox for multi-objective optimization, and incorporates surrogates to support expensive function evaluations. The framework is available under the GNU Affero General Public License (AGPL) and is primarily designed for research purposes. For more information about pysamoo, readers are encouraged to visit: anyoptimization.com/projects/pysamoo.

研究动机与目标

• 解决计算成本高昂、带约束的多目标问题缺乏即用型开源优化框架的问题。
• 在每次函数评估（如计算流体动力学、有限元分析）耗时较长、总评估次数限制在 100–500 次的场景中实现高效优化。
• 将代理模型集成到多种元启发式算法（如遗传算法、差分进化、CMA-ES、NSGA-II）中，以近似昂贵的评估，加速收敛。
• 提供一个灵活且可扩展的框架，采用 AGPL 许可证，使研究人员能够针对实际应用中的代理辅助优化策略进行实验。
• 支持带约束的单目标与多目标优化，利用代理模型减少搜索过程中对昂贵仿真的依赖。

提出的方法

• 通过将代理模型作为昂贵目标函数和约束函数的近似，扩展 pymoo 框架以支持代理辅助优化。
• 实现两种核心代理集成策略：PSAF（问题特定自适应过滤）和 GPSAF（全局问题特定自适应过滤），利用代理预测指导有希望解的选择。
• 使用径向基函数（RBF）模型作为代理，以近似昂贵的仿真，最小化预测误差的同时保持计算效率。
• 在昂贵解评估（ESEs）和近似解评估（ASEs）之间交替进行，利用代理模型指导搜索，同时严格遵守 ESE 预算。
• 将代理模型集成到现有元启发式算法（如 NSGA-II、NSGA-III、CMA-ES 和 DE）中，实现基于模型的收敛性改进，而无需修改核心算法逻辑。
• 采用动态采样策略，通过迭代使用最具信息量的解来优化代理模型，从而在有限评估预算下平衡探索与开发。

实验结果

研究问题

• RQ1 如何有效将代理模型集成到现有多目标进化算法中，以减少昂贵函数评估次数？
• RQ2 在评估预算有限的真实仿真问题中，使用代理辅助优化能带来多大的性能提升？
• RQ3 在多种多目标优化问题中，PSAF 和 GPSAF 策略在收敛速度和收敛质量方面如何比较？
• RQ4 在计算成本高昂的环境中，代理模型在多大程度上能提升 NSGA-III 和 CMA-ES 等元启发式算法的效率？
• RQ5 能否构建一个统一框架，支持多种元启发式算法与代理模型的集成，同时保持模块化和可扩展性？

主要发现

• pysamoo 已成功将代理模型集成到多种元启发式算法中，包括 NSGA-II、NSGA-III、CMA-ES 和 DE，实现在有限评估预算下的高效优化。
• 该框架通过使用代理模型进行近似解评估（ASEs），减少了对昂贵函数评估的依赖，ASEs 计算成本低，用于指导搜索过程。
• PSAF 和 GPSAF 策略通过基于代理预测智能选择有希望的解，显著提升了昂贵优化问题中的收敛速度和收敛质量。
• 使用径向基函数（RBF）代理模型能够准确近似高保真仿真输出，最小化预测误差，同时保持低计算开销。
• pysamoo 使研究人员能够更高效地解决实际仿真问题（如工程、农业和医疗保健领域的问题），通过减少所需昂贵仿真的次数。
• 该框架以 AGPL 许可证发布，可供研究免费使用，并支持未来代理辅助优化方法的扩展开发。