[论文解读] Towards a Theory-Guided Benchmarking Suite for Discrete Black-Box Optimization Heuristics: Profiling $(1+λ)$ EA Variants on OneMax and LeadingOnes

Carola Doerr, Furong Ye+3 more|arXiv (Cornell University)|Aug 17, 2018

Metaheuristic Optimization Algorithms Research参考文献 19被引用 14

一句话总结

本文通过将COO框架适配至伪布尔问题，提出了一套理论引导的离散黑箱优化基准测试套件，实现了对OneMax和LeadingOnes问题上$(1+\lambda)$ EA变体的细粒度经验分析。研究提出了优化时间的改进理论边界，显示理论上的上界与经验结果高度一致，尤其在$\lambda \geq 1$的$(1+\lambda)$ EA中表现显著。该工作为连接理论与实证研究的统一基准平台奠定了基础，推动了离散进化计算领域的发展。

ABSTRACT

Theoretical and empirical research on evolutionary computation methods complement each other by providing two fundamentally different approaches towards a better understanding of black-box optimization heuristics. In discrete optimization, both streams developed rather independently of each other, but we observe today an increasing interest in reconciling these two sub-branches. In continuous optimization, the COCO (COmparing Continuous Optimisers) benchmarking suite has established itself as an important platform that theoreticians and practitioners use to exchange research ideas and questions. No widely accepted equivalent exists in the research domain of discrete black-box optimization. Marking an important step towards filling this gap, we adjust the COCO software to pseudo-Boolean optimization problems, and obtain from this a benchmarking environment that allows a fine-grained empirical analysis of discrete black-box heuristics. In this documentation we demonstrate how this test bed can be used to profile the performance of evolutionary algorithms. More concretely, we study the optimization behavior of several $(1+λ)$ EA variants on the two benchmark problems OneMax and LeadingOnes. This comparison motivates a refined analysis for the optimization time of the $(1+λ)$ EA on LeadingOnes.

研究动机与目标

• 通过创建统一的基准测试环境，弥合离散黑箱优化领域中理论与实证研究之间的差距。
• 将COCO软件框架适配以支持对伪布尔进化算法的细粒度经验分析。
• 研究静态与自适应参数的$(1+\lambda)$ EA变体在标准基准问题上的性能表现。
• 利用经验洞察，对$(1+\lambda)$ EA在LeadingOnes函数上的优化时间理论边界进行精细化分析。
• 为离散进化计算领域建立一个广泛采用的基准测试套件，类似于连续优化中的COCO。

提出的方法

• 适配COCO软件栈，以支持离散的伪布尔优化问题，如OneMax和LeadingOnes。
• 实现具有静态突变率和子代种群规模$\lambda$的$(1+\lambda)$ EA变体，确保所有子代与父代不同（即$(1+\lambda)$ EA >0）。
• 采用固定预算视角分析性能，补充传统的期望优化时间分析方法。
• 基于每代成功进展的概率推导期望优化时间的理论上限：LeadingOnes问题中为$1 - (1 - p(1-p)^j)^\lambda$，并针对$(1+\lambda)$ EA >0中的重采样机制进行调整。
• 将理论边界与不同$n$和$\lambda$下多次运行的经验平均值进行对比验证。
• 提出对$(1+\lambda)$ EA在LeadingOnes问题上的精细化分析，其动机源于观察到的$(1+1)$ EA >0与$(1+50)$ EA >0在性能上的相似性。

实验结果

研究问题

• RQ1 在OneMax和LeadingOnes问题上，不同$\lambda$和$p$的$(1+\lambda)$ EA变体在收敛速度和稳定性方面表现如何？
• RQ2 $(1+\lambda)$ EA在LeadingOnes问题上的理论优化时间上界在多大程度上与经验观察结果一致？
• RQ3 为何$(1+1)$ EA >0与$(1+50)$ EA >0在LeadingOnes问题上表现出几乎相同的性能，尽管其$\lambda$值差异显著？
• RQ4 经验分析能否指导离散黑箱优化中理论运行时间边界的精细化？
• RQ5 设计一个理论引导的离散优化基准测试套件时，应遵循哪些基准问题选择原则？

主要发现

• $(1+\lambda)$ EA >0在LeadingOnes问题上的理论期望优化时间上界与经验平均值高度吻合，尤其在中等$\lambda$值下表现更佳。
• 当$n=1000$时，$(1+50)$ EA >0的理论上限约为54.310，而经验平均值为55.2%，显示出极强的一致性。
• $(1+1)$ EA >0与$(1+50)$ EA >0在LeadingOnes问题上的性能几乎完全相同，这激发了对$(1+\lambda)$ EA在此问题上的精细化理论分析。
• 定理3中的边界在$\lambda=1$时是紧致的，这与文献[17]和[18]中的先前结果一致；对于更大的$\lambda$，该边界仍接近紧致，原因在于单代中产生多个改进子代的概率极低。
• $(1+\lambda)$ EA >0中的重采样策略使期望适应度增益提高了$1/(1 - (1-p)^n)$倍，该因子已整合进理论边界中。
• 经验结果表明，增加$\lambda$可缩短优化时间，但当$\lambda > 50$后，性能提升趋于平缓，表明存在收益递减现象。