[论文解读] Runtime Analysis of the SMS-EMOA for Many-Objective Optimization

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 16, 2023

Advanced Multi-Objective Optimization Algorithms参考文献 51被引用 9

一句话总结

本文首次对 SMS-EMOA 在多目标优化中的运行时进行严格分析，证明其在 m-OJZJ 基准上的有效性，并将其与 NSGA-II、GSEMO 及 NSGA-II 的变体进行比较。

ABSTRACT

This paper conducts the first rigorous runtime analysis of the SMS-EMOA for many-objective optimization. To this aim, we first propose a many-objective counterpart of the bi-objective OJZJ benchmark. We prove that SMS-EMOA computes the full Pareto front of this benchmark in an expected number of $O(μM n^k)$ iterations, where $n$ denotes the problem size (length of the bit-string representation), $k$ the gap size (a difficulty parameter of the problem), $M=(2n/m-2k+3)^{m/2}$ the size of the Pareto front, and $μ$ the population size (at least the same size as the largest incomparable set). This result together with the existing negative result for the original NSGA-II shows that, in principle, the general approach of the NSGA-II is suitable for many-objective optimization, but the crowding distance as tie-breaker has deficiencies. We obtain three additional insights on the SMS-EMOA. Different from a recent result for the bi-objective \ojzj benchmark, a recently proposed stochastic population update often does not help for its many-objective counterpart. It at most results in a speed-up by a factor of order $2^{k} / μ$, which is $Θ(1)$ for large $m$, such as $m>k$. On the positive side, we prove that heavy-tailed mutation irrespective of the number $m$ of objectives results in a speed-up of order $k^{0.5+k-β}/e^k$. Finally, we conduct the first runtime analyses of the SMS-EMOA on the classic OMM and LOTZ and show that the SMS-EMOA has a performance comparable to the GSEMO and the NSGA-II. Our main technical insight, a general condition ensuring that the SMS-EMOA does not lose Pareto-optimal objective values, promises to be useful also in other runtime analyses of this algorithm.

研究动机与目标

• 动机：由于 NSGA-II 在多目标设置中的困难，推动对超越两个目标的 MOEAs 的研究。
• 将多目标基准 m-OJZJ 定义为 OJZJ 的 m 目标对应物，用于理论分析。
• 为 SMS-EMOA 在 m-OJZJ 及相关基准建立严格的运行时界限。
• 研究随机种群更新和重尾变异对多目标设置中性能的影响。
• 为更广泛的理解，提供 SMS-EMOA 在双目标 OneMinMax 和 LOTZ 基准的补充运行时分析。

提出的方法

• 引入 m-OJZJ 基准，这是一个由 Jump-like 块构成的 m 目标多峰变体。
• 证明一个上界，建立在期望迭代次数 O(M^{2} n^{k}) 内，SMS-EMOA 覆盖完整帕累托前沿，其中 M 定义为 (2n/m-2k+3)^{m/2}。
• 分析随机种群更新的影响，表明加速最多不超过因子 O(2^{k/2}/(μ k^{1/2}))。
• 证明重尾变异在合适的 β>1 时，带来阶次为 k^{0.5+k-β} 的加速。
• 提供双目标 OneMinMax 和 LOTZ 基准的运行时分析，显示性能与 GSEMO 和 NSGA-II 相当。

实验结果

研究问题

• RQ1 SMS-EMOA 能否高效地优化多目标问题，其性能如何随 m 个目标放大？
• RQ2 SMS-EMOA 在 m-OJZJ 基准上的理论运行时界限是什么，以及它们与 NSGA-II 的比较？
• RQ3 随机种群更新在多目标设置中如何影响 SMS-EMOA 的性能？
• RQ4 重尾变异是否在多目标优化中为 SMS-EMOA 提供理论上的加速？
• RQ5 在既定的双目标基准（OneMinMax、LOTZ）上，SMS-EMOA 相对于 GSEMO 和 NSGA-II 的表现如何？

主要发现

• SMS-EMOA 能以期望运行时间 O(M^{2} n^{k}) 来优化 m-OJZJ，其中 M=(2n/m-2k+3)^{m/2}。
• 随机种群更新带来的加速最多为 2^{k/2}/(μ k^{1/2})，当 m 较大时（如 m>k）变得可以忽略。
• 重尾变异提供阶次为 k^{0.5+k-β} 的加速，与单目标和双目标 Jump 问题中观察到的收益相匹配。
• 在双目标 Jump 变体上，SMS-EMOA 的运行时与现有的 NSGA-II 和 GSEMO 分析一致。
• 对于双目标 OneMinMax 和 LOTZ，SMS-EMOA 分别实现运行时保证 2e(n+1)n(ln n+1) 和 2ene(n+1)，与 GSEMO/NSGA-II 基准一致。