[论文解读] The First Proven Performance Guarantees for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II) on a Combinatorial Optimization Problem

Sacha Cerf, Benjamin Doerr+3 more|arXiv (Cornell University)|May 22, 2023

Advanced Multi-Objective Optimization Algorithms参考文献 52被引用 6

一句话总结

本文首次为NSGA-II算法在组合优化问题——双目标最小生成树（MST）问题上提供了性能保证。结果表明，当种群大小 $N \geq 4((n-1)w_{\max}+1)$ 时，NSGA-II在期望 $O(m^2 n w_{\max} \log(nw_{\max}))$ 次迭代内可计算出所有极端Pareto前沿点，通过严格的数学分析验证了其经验效率。

ABSTRACT

The Non-dominated Sorting Genetic Algorithm-II (NSGA-II) is one of the most prominent algorithms to solve multi-objective optimization problems. Recently, the first mathematical runtime guarantees have been obtained for this algorithm, however only for synthetic benchmark problems. In this work, we give the first proven performance guarantees for a classic optimization problem, the NP-complete bi-objective minimum spanning tree problem. More specifically, we show that the NSGA-II with population size $N \ge 4((n-1) w_{\max} + 1)$ computes all extremal points of the Pareto front in an expected number of $O(m^2 n w_{\max} \log(n w_{\max}))$ iterations, where $n$ is the number of vertices, $m$ the number of edges, and $w_{\max}$ is the maximum edge weight in the problem instance. This result confirms, via mathematical means, the good performance of the NSGA-II observed empirically. It also shows that mathematical analyses of this algorithm are not only possible for synthetic benchmark problems, but also for more complex combinatorial optimization problems. As a side result, we also obtain a new analysis of the performance of the global SEMO algorithm on the bi-objective minimum spanning tree problem, which improves the previous best result by a factor of $|F|$, the number of extremal points of the Pareto front, a set that can be as large as $n w_{\max}$. The main reason for this improvement is our observation that both multi-objective evolutionary algorithms find the different extremal points in parallel rather than sequentially, as assumed in the previous proofs.

研究动机与目标

• 在真实组合优化问题上建立NSGA-II的首个数学运行时间保证，突破对人工基准测试的依赖。
• 分析NSGA-II在双目标MST问题中计算Pareto前沿所有极端点的期望时间。
• 证明NSGA-II的理论分析在复杂组合问题上是可行且有意义的，而不仅限于人工基准。
• 通过展示对极端点的并行收敛而非顺序收敛，改进先前针对全局SEMOP算法的运行时间界。
• 探讨突变算子与交叉对NSGA-II在此场景下性能的影响。

提出的方法

• 通过马尔可夫链模型追踪NSGA-II在构建包含所有极端Pareto最优解的种群过程中的进展。
• 建立选择并改进接近Pareto前沿极端点的个体的最小概率下界。
• 利用“公平选择”概念，并分析从非极端点生成新极端点的概率 $\mathbf{p}_2$。
• 证明当种群大小 $N \geq 4((n-1)w_{\max}+1)$ 时，算法能保持足够的多样性以覆盖所有极端解。
• 分析同时考虑按位突变与平衡突变算子，表明使用平衡突变可提升收敛速度。
• 通过证明以恒定概率引入交叉操作不会恶化渐近运行时间复杂度，将分析扩展至包含交叉的情形。

实验结果

研究问题

• RQ1 能否在经典组合优化问题（如双目标MST）上为NSGA-II建立数学运行时间保证？
• RQ2 NSGA-II在双目标MST问题中计算所有极端Pareto最优解所需的种群大小应为多大？
• RQ3 NSGA-II在此问题上的性能与全局SEMOP等简单MOEA相比如何？理论分析能否解释观察到的对极端点的并行收敛现象？
• RQ4 使用平衡突变或交叉是否会影响NSGA-II在此问题上的渐近运行时间复杂度？
• RQ5 NSGA-II的理论分析能否从人工基准扩展到真实世界组合优化问题？

主要发现

• 当种群大小 $N \geq 4((n-1)w_{\max}+1)$ 时，NSGA-II在期望 $O(m^2 n w_{\max} \log(nw_{\max}))$ 次迭代内可计算出Pareto前沿的所有极端点。
• 由于认识到并行收敛而非顺序收敛，该分析使先前针对全局SEMOP算法的运行时间界提高了 $|F|$ 倍，即极端点的数量。
• 使用平衡突变可提高生成极端点的概率，使期望运行时间降低至 $O((m-n)n\log(nw_{\max}) + m\log n)$ 代。
• 以恒定概率引入交叉不会恶化渐近期望运行时间，通过将其简化为无交叉情形得以证明。
• 结果证实，对NSGA-II进行严谨的数学分析在真实组合优化问题上是可行且有意义的，而不仅限于人工基准。
• 本研究为未来在其他组合多目标问题上对NSGA-II的理论分析奠定了基础框架。