[论文解读] Runtime Analysis for the NSGA-II: Proving, Quantifying, and Explaining the Inefficiency For Many Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Nov 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用 9

一句话总结

本文首次对NSGA-II在多目标问题上的运行时间进行了数学分析，证明即使在简单的m维OneMinMax基准问题上（所有解均为Pareto最优解），当m ≥ 3时，该算法也无法在亚指数时间内找到完整的Pareto前沿。其低效性源于拥挤距离将各目标独立处理，导致多样性保持能力差，且在选择过程中极有可能丢失最优解。

ABSTRACT

The NSGA-II is one of the most prominent algorithms to solve multi-objective optimization problems. Despite numerous successful applications, several studies have shown that the NSGA-II is less effective for larger numbers of objectives. In this work, we use mathematical runtime analyses to rigorously demonstrate and quantify this phenomenon. We show that even on the simple $m$-objective generalization of the discrete OneMinMax benchmark, where every solution is Pareto optimal, the NSGA-II also with large population sizes cannot compute the full Pareto front (objective vectors of all Pareto optima) in sub-exponential time when the number of objectives is at least three. The reason for this unexpected behavior lies in the fact that in the computation of the crowding distance, the different objectives are regarded independently. This is not a problem for two objectives, where any sorting of a pair-wise incomparable set of solutions according to one objective is also such a sorting according to the other objective (in the inverse order).

研究动机与目标

• 对NSGA-II在多目标优化问题中的运行时间行为进行严格分析。
• 识别并解释NSGA-II在目标数超过两个时效率低下的根本原因。
• 量化NSGA-II在指数时间内无法收敛至完整Pareto前沿的程度。
• 为NSGA-II在目标数增加时表现下降的实证观察提供理论依据。

提出的方法

• 在m维OneMinMax基准问题上进行数学运行时间分析，该问题为双目标情况的推广。
• 定义并分析拥挤距离在NSGA-II选择过程中的作用，重点关注其在各目标间的独立性。
• 利用概率论论证与漂移分析，证明种群在指数时间内无法覆盖Pareto前沿的恒定比例。
• 在n=40、m=4的OneMinMax问题上，通过不同种群大小（N = 4M至256M）的实验验证理论结果。
• 将NSGA-II的行为与合成GSEMO进行对比，以隔离拥挤距离设计的影响。
• 分析拥挤距离的分布及其对选择的影响，表明许多解获得零值或接近零的值。

实验结果

研究问题

• RQ1 为何NSGA-II在m ≥ 3个目标时，尽管所有解均为Pareto最优，仍无法高效探索Pareto前沿？
• RQ2 NSGA-II在多目标问题上的低效性是否可被数学证明并量化？
• RQ3 拥挤距离在m ≥ 3时如何导致NSGA-II中多样性差和选择偏差？
• RQ4 增加种群大小是否能缓解NSGA-II在m维OneMinMax问题中面临的指数时间障碍？
• RQ5 拥挤距离中目标处理的独立性如何导致Pareto最优解的丢失？

主要发现

• 对于所有m ≥ 3，NSGA-II即使在种群规模任意增大时，也无法在亚指数时间内计算出完整的Pareto前沿。
• 无论种群大小如何，该算法在至少指数时间内都会遗漏Pareto前沿的恒定比例。
• 实验结果表明，即使在N = 256M时，第1000代的平均覆盖Pareto解数量仅为441个中的291个（m=4，n=40）。
• 拥挤距离值分布高度偏斜，许多解获得零值或接近零的值，导致选择过程随机化并造成多样性丧失。
• 拥挤距离计算中目标的独立性导致在目标空间中相距甚远的解被视作距离相等，从而扭曲选择过程。
• 理论分析解释了为何NSGA-II从m=3开始表现急剧下降，而双目标情况下由于目标间存在隐式相关性，表现则不同。