[论文解读] Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms for Chance Constrained Optimization Problems with Normally Distributed Random Variables

Frank Neumann, Carsten Witt|arXiv (Cornell University)|Sep 13, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 32被引用 4

一句话总结

该论文提出了一种用于具有正态分布随机变量的机遇约束优化的多目标进化算法框架，通过重新表述问题以在期望成本与方差之间进行权衡。该方法证明，使用GSEMO和基于凸包的算法，可在期望多项式时间内计算出任意置信水平 α ≥ 1/2 的最优解，从而克服了单目标(1+1) EA在约束实例上面临的指数级运行时间问题。

ABSTRACT

Chance constrained optimization problems allow to model problems where constraints involving stochastic components should only be violated with a small probability. Evolutionary algorithms have been applied to this scenario and shown to achieve high quality results. With this paper, we contribute to the theoretical understanding of evolutionary algorithms for chance constrained optimization. We study the scenario of stochastic components that are independent and normally distributed. Considering the simple single-objective (1+1) EA, we show that imposing an additional uniform constraint already leads to local optima for very restricted scenarios and an exponential optimization time. We therefore introduce a multi-objective formulation of the problem which trades off the expected cost and its variance. We show that multi-objective evolutionary algorithms are highly effective when using this formulation and obtain a set of solutions that contains an optimal solution for any possible confidence level imposed on the constraint. Furthermore, we prove that this approach can also be used to compute a set of optimal solutions for the chance constrained minimum spanning tree problem. In order to deal with potentially exponentially many trade-offs in the multi-objective formulation, we propose and analyze improved convex multi-objective approaches. Experimental investigations on instances of the NP-hard stochastic minimum weight dominating set problem confirm the benefit of the multi-objective and the improved convex multi-objective approach in practice.

研究动机与目标

• 解决单目标进化算法在具有正态分布随机分量的机遇约束问题上的理论局限性。
• 开发一种在期望成本与方差之间进行权衡的多目标公式，以实现对任意置信水平 α ≥ 1/2 的最优解。
• 通过引入Pareto优化方法，克服(1+1) EA在约束实例上面临的指数级运行时间瓶颈。
• 设计基于凸包的进化算法，即使在目标之间的权衡数量呈指数级增长时，也能保持多项式运行时间。
• 在NP难的随机最小权支配集问题上对方法进行实证验证。

提出的方法

• 利用正态分布的性质，通过期望值与标准差的线性组合，将机遇约束问题重新表述为确定性等价问题。
• 引入一种多目标公式，其中目标为解的期望成本与方差，从而实现在所有置信水平 α ≥ 1/2 下的权衡。
• 使用GSEMO算法进行Pareto优化，证明其可在期望多项式时间内为 α ≥ 1/2 计算出一组最优解。
• 提出一种基于凸包的进化算法，即使在权衡数量呈指数级增长时，也能保持多项式期望运行时间。
• 将该框架应用于机遇约束最小生成树问题，表明其可为任意 α ≥ 1/2 实现最优解。
• 在随机最小权支配集实例上进行实验评估，以验证多目标方法与基于凸包方法的实际优势。

实验结果

研究问题

• RQ1 当施加基数约束时，(1+1) EA能否高效求解具有正态分布分量的机遇约束优化问题？
• RQ2 一种在期望成本与方差之间进行权衡的多目标公式，是否能为任意置信水平 α ≥ 1/2 提供最优解？
• RQ3 当Pareto最优权衡数量呈指数级增长时，基于凸包的进化算法是否能保持多项式期望运行时间？
• RQ4 所提出的多目标框架是否对NP难的机遇约束问题（如随机最小权支配集问题）有效？
• RQ5 在真实世界实例上，多目标方法与单目标方法的实际性能相比如何？

主要发现

• 由于非线性目标函数导致的局部最优，(1+1) EA在简单机遇约束实例上面临指数级运行时间。
• 使用期望成本与方差的多目标公式生成的Pareto前沿中，端点对应于任意 α ≥ 1/2 的最优解。
• 只要种群规模保持多项式级别，GSEMO即可在期望多项式时间内为任意 α ≥ 1/2 计算出完整的最优解集。
• 即使权衡数量呈指数级增长，基于凸包的进化算法也能在期望多项式时间内为每个 α ≥ 1/2 计算出最优解。
• 在随机最小权支配集问题上的实验结果表明，多目标方法与基于凸包的方法相比单目标方法均表现出显著的性能提升。
• 对于置信水平 α = 1.0E-16，基于凸包的算法在ca-GrQc等大规模网络上实现了平均运行时间低于1060万次迭代的最优解，展现出良好的可扩展性。