[论文解读] Optimal Parameter Settings for the $(1+(\lambda, \lambda))$ Genetic Algorithm

Benjamin Doerr|arXiv (Cornell University)|Apr 4, 2016

Metaheuristic Optimization Algorithms Research参考文献 13被引用 3

一句话总结

本文严格识别了 (1 + (λ, λ)) 遗传算法在种群大小 λ、突变概率 p = k/n 和交叉偏置 c = r/k 下的最优参数设置。它证明了先前工作中直观的参数选择在 OneMax 函数上实现了渐近最优的运行时间 Θ(n√log n)，且仅有一小部分参数组合能达到这种最优性，通过包含非可分参数交互作用的多维漂移分析，确认了其理论优越性。

ABSTRACT

The $(1+(\lambda,\lambda))$ genetic algorithm is one of the few algorithms for which a super-constant speed-up through the use of crossover could be proven. So far, this algorithm has been used with parameters based also on intuitive considerations. In this work, we rigorously regard the whole parameter space and show that the asymptotic time complexity proven by Doerr and Doerr (GECCO 2015) for the intuitive choice is best possible among all settings for population size, mutation probability, and crossover bias.

研究动机与目标

• 确定 (1 + (λ, λ)) 遗传算法在三个参数：种群大小 λ、突变概率 p 和交叉偏置 c 下的最优参数配置。
• 通过在完整三维参数空间内进行严格分析，弥补先前研究的不足，而非依赖启发式或直观选择。
• 证明先前工作中提出的参数设置在渐近意义上是最优的，而不仅是在实验中有效。
• 阐明参数交互作用（尤其是非可分依赖关系）对运行时间的影响，为 OneMax 以外问题的广泛应用提供指导。

提出的方法

• 在完整的三维参数空间 (λ, p, c) 上进行综合漂移分析，建模向最优解的期望进展。
• 使用乘法漂移定理推导出期望优化时间的下界，条件基于与最优解的距离。
• 通过漂移陈述分析每次迭代的期望改进量，显示 E[f(z) − f(x)] = O(λd/n)，其中 d 为与最优解的距离。
• 应用改进的漂移定理，包含两个条件：期望距离的线性下降，以及距离以高概率呈几何衰减。
• 推导出 λ、k（其中 p = k/n）和 r（其中 c = r/k）的紧致边界，表明 λ = Θ(√(log n log log n / log log log n)) 是实现最优性的必要条件。
• 证明任何非最优参数选择的运行时间严格劣于 Θ(n√log n)，即使在大类设置中亦然。

实验结果

研究问题

• RQ1 能否在 λ、p 和 c 的整个三维参数空间中，证明 (1 + (λ, λ)) GA 的直观参数设置是最优的？
• RQ2 在 λ、k（对于 p = k/n）和 r（对于 c = r/k）上，满足 OneMax 函数上渐近最优运行时间的精确条件是什么？
• RQ3 参数之间的非可分交互作用如何影响算法性能，能否进行形式化分析？
• RQ4 是否存在仍能实现近似最优性能的广泛参数设置类别，还是最优区域极为狭窄？
• RQ5 OneMax 上的理论洞见能否推广，以指导其他优化问题的参数选择？

主要发现

• 先前工作 [DDE13] 提出的直观参数设置在 OneMax 函数上实现了渐近最优的运行时间 Θ(n√log n)，且没有任何其他参数组合能进一步改善该渐近性能。
• 最优种群大小为 λ = Θ(√(log n log log n / log log log n))，该值在探索与选择效率之间实现了平衡。
• 突变参数 k 必须满足 k = Ω(λ∗) ∩ exp(ω(√(log n log log log n / log log n)))，以确保突变后代具有足够的多样性。
• 交叉偏置参数 r 必须为 Θ(1)，即 c = r/k = Θ(1/k)，以避免从突变后代中过度复制不良位。
• 证明了在最优区域外的任何参数设置下，运行时间均为 ω(F∗)，确认该界是紧致的。
• 分析表明，仅有一小部分参数组合能实现最优运行时间，但存在更广泛的参数集合仍能实现接近最优的运行时间，这对实际应用具有重要意义。