[论文解读] Towards a More Practice-Aware Runtime Analysis of Evolutionary Algorithms

Eduardo Carvalho Pinto, Carola Doerr|arXiv (Cornell University)|Dec 3, 2018

Evolutionary Algorithms and Applications参考文献 2被引用 26

一句话总结

本文提出了对演化算法理论运行时间分析的两项关键改进：(1) 调整成本模型，排除当子代与父代相等时的冗余适应度评估——这在实践中很常见但理论分析中常被忽略；(2) 引入运行时间谱系，追踪达到中间适应度水平的期望时间，而不仅限于最优解。一个关键结果表明，贪婪的(2+1) GA在OneMax问题上优于任何单参数无偏黑箱算法，挑战了关于交叉优势的长期假设。

ABSTRACT

Theory of evolutionary computation (EC) aims at providing mathematically founded statements about the performance of evolutionary algorithms (EAs). The predominant topic in this research domain is runtime analysis, which studies the time it takes a given EA to solve a given optimization problem. Runtime analysis has witnessed significant advances in the last couple of years, allowing us to compute precise runtime estimates for several EAs and several problems. Runtime analysis is, however (and unfortunately!), often judged by practitioners to be of little relevance for real applications of EAs. Several reasons for this claim exist. We address two of them in this present work: (1) EA implementations often differ from their vanilla pseudocode description, which, in turn, typically form the basis for runtime analysis. To close the resulting gap between empirically observed and theoretically derived performance estimates, we therefore suggest to take this discrepancy into account in the mathematical analysis and to adjust, for example, the cost assigned to the evaluation of search points that equal one of their direct parents (provided that this is easy to verify as is the case in almost all standard EAs). (2) Most runtime analysis results make statements about the expected time to reach an optimal solution (and possibly the distribution of this optimization time) only, thus explicitly or implicitly neglecting the importance of understanding how the function values evolve over time. We suggest to extend runtime statements to runtime profiles, covering the expected time needed to reach points of intermediate fitness values. As a direct consequence, we obtain a result showing that the greedy (2+1) GA of Sudholt [GECCO 2012] outperforms any unary unbiased black-box algorithm on OneMax.

研究动机与目标

• 弥合理论运行时间分析与实际EA实现之间的差距，因为冗余适应度评估在实践中很常见但被理论分析忽略。
• 通过更准确地建模现实世界EA行为，特别是适应度评估成本，提升理论结果的相关性。
• 将传统运行时间分析从仅关注最优解扩展到包括中间适应度水平，从而更深入理解优化过程中的算法行为。
• 为演化计算领域理论与实证研究之间建立更具建设性的对话奠定基础。
• 通过一个强有力的理论结果，展示所提框架的实际影响：证明贪婪的(2+1) GA具有显著优势。

提出的方法

• 修改运行时间分析，排除子代与父代完全相同时的适应度评估，假设此类检查计算成本低廉——这在标准EA中很常见。
• 引入运行时间谱系，通过首达时间分析计算达到中间适应度水平的期望击中时间，而不仅限于全局最优。
• 将新框架应用于标准算法，如(1+1) EA、RLS以及具有修改后变异和选择规则的变体。
• 利用概率与随机分析，推导出在OneMax和LeadingOnes等问题上达到特定适应度水平的期望运行时间的闭式表达式。
• 将理论预测与n=500和n=10,000时的LeadingOnes问题上的实证结果进行比较，验证新模型的准确性。
• 利用该框架证明：采用调制选择策略的贪婪(2+1) GA在OneMax问题上优于任何单参数无偏黑箱算法。

实验结果

研究问题

• RQ1 在标准EA中，排除子代与父代相等时的冗余适应度评估，对理论运行时间估计有何影响？
• RQ2 追踪中间适应度水平的运行时间谱系在多大程度上能提升理论结果的可解释性与实际相关性？
• RQ3 所提框架能否揭示关于演化算法相对性能的新见解，例如交叉或精英策略的优势？
• RQ4 修改后的成本模型是否会导致在OneMax和LeadingOnes等经典问题上算法排名发生变化？
• RQ5 新的性能度量能否揭示以往被忽视的特定算法设计优势，例如贪婪的(2+1) GA？

主要发现

• (1+1) EA >0 在n=10,000的LeadingOnes问题上，对适应度水平达到7,980以内的中间阶段表现优于RLS和(1+1) EA 0→1。
• (1+1) EA 0→1 在n=10,000的LeadingOnes问题上，对适应度水平在7,980至8,998之间的阶段为最快。
• RLS 仅在n=10,000的LeadingOnes问题上，适应度水平高于8,999时成为最佳表现者。
• 当n=500时，实证结果与理论运行时间谱系预测高度吻合，(1+1) EA >0 的截断点为i=429，(1+1) EA 0→1 的截断点为i=449。
• 采用调制选择策略的贪婪(2+1) GA在OneMax问题上优于任何单参数无偏黑箱算法，展现出显著的理论优势。
• 所提运行时间谱系框架揭示了在标准期望优化时间分析中无法察觉的算法间细微性能差异。