[论文解读] NOMAD version 4: Nonlinear optimization with the MADS algorithm

Charles Audet, Sébastien Le Digabel+2 more|arXiv (Cornell University)|Apr 23, 2021

Metaheuristic Optimization Algorithms Research参考文献 61被引用 9

一句话总结

NOMAD 版本 4 引入了黑箱优化软件的全面重构，采用模块化算法组件，提升了可维护性、可扩展性，并实现了高效的并行计算。新架构支持高级功能如 MegaSearchPoll、热重启/暖重启以及增强版 PsdMads，在 8 核环境下对 Solar 7 等约束问题的求解速度最高提升 3.3 倍，同时相比版本 3 保持了数值性能。

ABSTRACT

NOMAD is software for optimizing blackbox problems. In continuous development since 2001, it constantly evolved with the integration of new algorithmic features published in scientific publications. These features are motivated by real applications encountered by industrial partners. The latest major release of NOMAD, version 3, dates from 2008. Minor releases are produced as new features are incorporated. The present work describes NOMAD 4, a complete redesign of the previous version, with a new architecture providing more flexible code, added functionalities and reusable code. We introduce algorithmic components, which are building blocks for more complex algorithms, and can initiate other components, launch nested algorithms, or perform specialized tasks. They facilitate the implementation of new ideas, including the MegaSearchPoll component, warm and hot restarts, and a revised version of the PSD-MADS algorithm. Another main improvement of NOMAD 4 is the usage of parallelism, to simultaneously compute multiple blackbox evaluations, and to maximize usage of available cores. Running different algorithms, tuning their parameters, and comparing their performance for optimization is simpler than before, while overall optimization performance is maintained between versions 3 and 4. NOMAD is freely available at www.gerad.ca/nomad and the whole project is visible at github.com/bbopt/nomad.

研究动机与目标

• 为解决 NOMAD 版本 3 中因算法高度耦合及算法增强不断增多而带来的复杂性与维护挑战。
• 通过模块化、基于组件的架构重新设计 NOMAD，以提升代码可维护性、可重用性与可扩展性，便于未来算法开发。
• 通过原生支持并行计算与线程级执行，实现对现代高核心数计算资源的高效利用。
• 在显著提升软件灵活性与开发人员可访问性的同时，保持或提升各版本间的数值性能。
• 为未来版本中集成 BiMads、RobustMads 与可变邻域搜索等高级算法提供支持。

提出的方法

• 将算法组件设计为可重用、可组合的构建模块，用于构建复杂的优化算法。
• 采用基于组件的软件架构重新实现核心算法（如 Mads 与 PsdMads），以提升模块化与可维护性。
• 采用 OpenMP 与 MPI 实现混合并行，支持多线程与多进程，以最大化核心利用率。
• 引入 MegaSearchPoll 组件，实现多个搜索方向的同时评估，加速收敛。
• 支持暖重启与热重启，提升在共享初始化条件下的多次优化运行性能。
• 采用分层设计，允许组件启动其他组件、调用嵌套算法或执行特定任务。

实验结果

研究问题

• RQ1 如何重构黑箱优化软件，以在支持算法创新演进的同时，保持向后兼容性与性能？
• RQ2 基于组件的模块化架构在衍生自由优化领域中，能在多大程度上提升软件的可维护性与可扩展性？
• RQ3 集成高级并行特性（如 MegaSearchPoll 与多线程执行）对求解时间与可扩展性有何影响？
• RQ4 新架构能否在不降低数值性能的前提下，高效利用现代高核心数集群？
• RQ5 在真实世界的约束优化问题中，重构后的 NOMAD v4 可实现多大的性能提升？

主要发现

• NOMAD 4 中的 PsdMads 实现优于 NOMAD 3，30 次试验中最差一次的结果也超过了 NOMAD 3 的最佳结果。
• 在 Solar 7 问题上，使用 8 核与 MegaSearchPoll 的 NOMAD 4 求解速度相比单核执行最高提升 3.3 倍。
• 数据分布图显示，使用 8 核与 MegaSearchPoll 的 NOMAD 4 比单核执行更快达到更优的目标值。
• 加速比分析表明，并行执行显著缩短了实际运行时间，当结合 8 核与 MegaSearchPoll 组件时，实际运行时间最低。
• 新架构可高效利用数千个核心，解决了旧版本在扩展至现代 HPC 环境时的局限性。
• NOMAD 3 与 NOMAD 4 之间的数值性能保持一致，收敛性与解的质量未出现退化。