[论文解读] Runtime Analysis for the NSGA-II: Provable Speed-Ups From Crossover

Benjamin Doerr, Zhongdi Qu|arXiv (Cornell University)|Aug 18, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 48被引用 8

一句话总结

该论文首次通过数学运行时间分析，证明了在 OneJumpZeroJump 基准测试中，NSGA-II 中的交叉操作可实现渐近加速，当 $ k \geq c \log(N)/\log\log(N) $ 时，将预期运行时间从 $ O(Nn^k) $ 降低至 $ O(N^2n^k / \Theta(k)^k) $。这种加速源于交叉操作利用了具有相同目标值的解中的多样性，而这一机制在以往仅考虑变异的算法或单目标 GA 的分析中未被捕捉。

ABSTRACT

Very recently, the first mathematical runtime analyses for the NSGA-II, the most common multi-objective evolutionary algorithm, have been conducted. Continuing this research direction, we prove that the NSGA-II optimizes the OneJumpZeroJump benchmark asymptotically faster when crossover is employed. Together with a parallel independent work by Dang, Opris, Salehi, and Sudholt, this is the first time such an advantage of crossover is proven for the NSGA-II. Our arguments can be transferred to single-objective optimization. They then prove that crossover can speed up the $(μ+1)$ genetic algorithm in a different way and more pronounced than known before. Our experiments confirm the added value of crossover and show that the observed advantages are even larger than what our proofs can guarantee.

研究动机与目标

• 通过数学方法证明 NSGA-II 中的交叉操作在多目标问题上相比仅使用变异的变体具有渐近的运行时间优势。
• 解释交叉如何通过具有相同目标值的解中的多样性来加速 NSGA-II 的收敛过程。
• 将分析扩展至单目标优化，证明交叉在 $(\mu+1)$ GA 优化 Jump 函数时同样能提升性能。
• 通过实验验证理论发现，显示实际经验加速效果强于理论分析所预测的。
• 识别出交叉以新颖机制帮助逃离局部最优解，该机制与进化算法中已知的加速模式不同。

提出的方法

• 分析 NSGA-II 算法在双目标 OneJumpZeroJump 基准测试上的表现，该基准是经典 Jump 函数的多目标扩展。
• 采用一种新颖的分析框架，追踪交叉如何生成并维持具有相同目标值的多样化解，从而实现更快收敛。
• 证明在引入交叉的情况下，预期运行时间为 $ O(N^2n^k / \Theta(k)^k) $，当 $ k \geq c \log(N)/\log\log(N) $ 时，该结果渐近快于仅使用变异的 NSGA-II 的 $ O(Nn^k) $ 上界。
• 将基于多样性的论证推广至 $(\mu+1)$ GA，证明其在优化 Jump 函数时的运行时间为 $ O(\mu^{k+1}n^k / \Theta(k)^k) $。
• 通过实验评估均匀交叉与位级变异在 $ n=100 $ 和 $ n=1000 $ 时的表现，测量不同种群规模下的适应度评估次数。
• 将基于交叉的 NSGA-II 和 $(\mu+1)$ GA 与仅使用变异的版本进行比较，量化加速效果，尤其关注小常数 $ \mu $ 及随 $ k $ 增大时的表现。

实验结果

研究问题

• RQ1 NSGA-II 中的交叉是否能在基准问题上可证明地减少运行时间，相比仅使用变异的 NSGA-II？
• RQ2 交叉在 NSGA-II 中如何通过非支配解中的多样性来加速收敛，尤其是在存在相同目标值的解多样性时？
• RQ3 NSGA-II 中观察到的交叉优势是否可推广至单目标进化算法，如 $(\mu+1)$ GA？
• RQ4 理论预测的交叉加速效果与实际经验性能提升相比如何？
• RQ5 该运行时间分析框架能否推广至 NSGA-II 和 $(\mu+1)$ GA 之外的其他基于交叉的进化算法？

主要发现

• NSGA-II 中的交叉将 OneJumpZeroJump 基准测试上的预期运行时间从 $ O(Nn^k) $ 降低至 $ O(N^2n^k / \Theta(k)^k) $，当 $ k \geq c \log(N)/\log\log(N) $ 时，加速效果变得渐近显著。
• 该加速源于交叉利用了具有相同目标值的解中的多样性，而这一特性在以往对 SEMO 类算法的分析中未被考虑。
• 对于 $(\mu+1)$ GA，分析表明其运行时间为 $ O(\mu^{k+1}n^k / \Theta(k)^k) $，快于仅使用变异版本的 $ \Omega(n^k) $ 下界，尤其在 $ k $ 增大时更为明显。
• 实验结果证实，即使在小种群规模（如 $ \mu=2 $ 或 $ \mu=4 $）下，交叉也能提供显著的加速效果，且实际观察到的改进超过理论预测。
• 结果揭示了一种交叉逃离局部最优的新机制——通过组合具有相同目标值但基因型多样的个体，该机制与进化算法中已知的加速模式截然不同。
• 本文指出了当前理论研究的一个空白：尽管已证明了上界，但尚未为基于交叉的 NSGA-II 建立下界，因此其上界是否紧致仍是一个开放问题。