[论文解读] Towards a Theory-Guided Benchmarking Suite for Discrete Black-Box Optimization Heuristics: Profiling $(1+\lambda)$ EA Variants on OneMax and LeadingOnes

Carola Doerr, Furong Ye+3 more|arXiv (Cornell University)|Aug 17, 2018

Metaheuristic Optimization Algorithms Research参考文献 14被引用 10

一句话总结

本文通过将COCO平台适配至伪布尔问题，提出了一种理论引导的离散黑箱优化基准测试套件，实现了对$(1+\lambda)$ EA变体在OneMax和LeadingOnes问题上的细粒度经验分析。研究揭示了在LeadingOnes问题上更精细的优化时间行为，推动了离散进化计算中理论研究与经验研究的融合。

ABSTRACT

Theoretical and empirical research on evolutionary computation methods complement each other by providing two fundamentally different approaches towards a better understanding of black-box optimization heuristics. In discrete optimization, both streams developed rather independently of each other, but we observe today an increasing interest in reconciling these two sub-branches. In continuous optimization, the COCO (COmparing Continuous Optimisers) benchmarking suite has established itself as an important platform that theoreticians and practitioners use to exchange research ideas and questions. No widely accepted equivalent exists in the research domain of discrete black-box optimization. Marking an important step towards filling this gap, we adjust the COCO software to pseudo-Boolean optimization problems, and obtain from this a benchmarking environment that allows a fine-grained empirical analysis of discrete black-box heuristics. In this documentation we demonstrate how this test bed can be used to profile the performance of evolutionary algorithms. More concretely, we study the optimization behavior of several $(1+\lambda)$ EA variants on the two benchmark problems OneMax and LeadingOnes. This comparison motivates a refined analysis for the optimization time of the $(1+\lambda)$ EA on LeadingOnes.

研究动机与目标

• 弥合离散黑箱优化中理论研究与经验研究长期独立发展的鸿沟。
• 建立一个广泛适用的离散进化算法基准测试框架，类似于连续优化中的COCO平台。
• 实现对标准基准问题（如OneMax和LeadingOnes）上$(1+\lambda)$ EA变体的细粒度经验性能分析。
• 推动对$(1+\lambda)$ EA在LeadingOnes问题上优化时间的精细化理论分析。

提出的方法

• 适配COCO软件栈以支持伪布尔优化问题，实现标准化和可复现的基准测试。
• 设计一个支持离散黑箱启发式算法详细性能分析的测试平台，包括运行时间和收敛行为。
• 选取两个典型基准问题——OneMax和LeadingOnes——因其理论可处理性与经验相关性而被选中。
• 在受控实验条件下实现并评估多个$(1+\lambda)$ EA变体，以比较其在不同问题实例上的性能表现。
• 利用经验数据来指导并修正理论预期，尤其关注LeadingOnes问题上的优化时间行为。

实验结果

研究问题

• RQ1 在统一的经验分析框架下，不同$(1+\lambda)$ EA变体在OneMax和LeadingOnes基准问题上的表现如何？
• RQ2 COCO平台在多大程度上可被适配以支持离散的伪布尔优化问题？
• RQ3 通过细粒度的经验性能分析，可以从$(1+\lambda)$ EA在LeadingOnes问题上的优化动态中获得哪些洞察？
• RQ4 经验发现如何能够指导并改进离散进化算法中运行时间行为的理论分析？

主要发现

• 经适配的COCO平台成功实现了对离散黑箱启发式算法（尤其是标准基准问题上$(1+\lambda)$ EA变体）的细粒度经验分析。
• 经验性能分析揭示了$(1+\lambda)$ EA变体在OneMax和LeadingOnes问题上表现出不同的性能模式，凸显了问题特异性动力学。
• 该研究识别出LeadingOnes问题上收敛行为的结构性差异，从而为优化时间的精细化理论分析提供了动因。
• 经验基准测试与理论分析的整合形成了反馈回路，增强了对离散优化中启发式算法性能的理解。