[论文解读] Runtime Analysis of a Heavy-Tailed $(1+(\\lambda,\\lambda))$ Genetic Algorithm on Jump Functions

Denis Antipov, Benjamin Doerr|arXiv (Cornell University)|Jun 5, 2020

Metaheuristic Optimization Algorithms Research参考文献 39被引用 24

一句话总结

本文提出了一种重尾的 $(1+(\lambda,\lambda))$ 遗传算法，该算法从幂律分布中随机选择种群大小 $\lambda$ 和搜索半径 $s$，在跳跃函数上实现了接近最优的性能，且无需针对具体实例进行参数调优。即使跳跃大小 $k$ 未知，该方法也能将运行时间控制在最优静态参数设置的多对数因子之内。

ABSTRACT

It was recently observed that the $(1+(\\lambda,\\lambda))$ genetic algorithm can comparably easily escape the local optimum of the jump functions benchmark. Consequently, this algorithm can optimize the jump function with jump size $k$ in an expected runtime of only $n^{(k + 1)/2}k^{-k/2}e^{O(k)}$ fitness evaluations (Antipov, Doerr, Karavaev (GECCO 2020)). To obtain this performance, however, a non-standard parameter setting depending on the jump size $k$ was used. To overcome this difficulty, we propose to choose two parameters of the $(1+(\\lambda,\\lambda))$ genetic algorithm randomly from a power-law distribution. Via a mathematical runtime analysis, we show that this algorithm with natural instance-independent choices of the distribution parameters on all jump functions with jump size at most $n/4$ has a performance close to what the best instance-specific parameters in the previous work obtained. This price for instance-independence can be made as small as an $O(n\\log(n))$ factor. Given the difficulty of the jump problem and the runtime losses from using mildly suboptimal fixed parameters (also discussed in this work), this appears to be a fair price.

研究动机与目标

• 为解决在非单峰问题（如跳跃函数）上 $(1+(\lambda,\lambda))$ GA 的参数敏感性挑战。
• 通过用来自重尾分布的随机选择替代固定参数，消除对实例特定参数调优的需求。
• 分析此类随机参数选择是否能在所有跳跃大小 $k \leq n/4$ 的跳跃函数上维持近似最优性能。
• 评估在缺乏关于 $k$ 的先验知识时，性能损失与参数独立性之间的权衡。

提出的方法

• 该算法使用重尾幂律分布随机选择搜索半径 $s$ 和子代种群大小 $\lambda$。
• 搜索半径 $s$ 的参数化方式为 $p = c = \sqrt{s/n}$，确保子代与父代之间的期望汉明距离为 $s$，类似于标准进化算法中的突变率。
• 突变率 $p$ 和交叉偏差 $c$ 设为 $p = 2^{\delta}\sqrt{k/n}$ 和 $c = 2^{-\delta}\sqrt{k/n}$，以保持不变量 $pcn = k$，从而维持一致的搜索半径。
• 通过精确表达式分析单轮迭代中逃离适应度山谷的成功概率 $P$，考虑突变和交叉阶段。
• 适应度评估次数的期望运行时间计算为 $E[T_f] = (\lambda_m + \lambda_c) \cdot P^{-1}$，其中 $P$ 由汉明距离上的二项分布概率推导得出。
• 数学分析表明，当 $\beta_s > 1$ 且 $\beta_\lambda \geq 2$ 时，该算法的运行时间与最优静态参数设置的差距在 $O(n\log n)$ 之内。

实验结果

研究问题

• RQ1 在缺乏跳跃大小 $k$ 的先验知识时，$(1+(\lambda,\lambda))$ GA 中对 $\lambda$ 和 $s$ 的重尾选择是否能实现在跳跃函数上的近似最优性能？
• RQ2 为平衡性能与参数独立性，$\lambda$ 和 $s$ 的最优幂律指数是多少？
• RQ3 在不同 $k$ 值下，重尾算法的运行时间与最佳已知静态参数设置相比如何？
• RQ4 使用来自重尾分布的随机参数是否会导致可接受且有界的运行时间损失？

主要发现

• 当 $\beta_s > 1$ 且 $\beta_\lambda \geq 2$ 时，重尾 $(1+(\lambda,\lambda))$ GA 在所有跳跃大小 $k \leq n/4$ 的跳跃函数上，其运行时间与最优实例特定参数设置的差距在 $O(n\log n)$ 之内。
• 当 $n = 2^{20}$ 且 $k \in \{4, 16, 64\}$ 时，参数偏差 $\delta = \pm1$ 导致的运行时间增加最多为常数因子；而 $|\delta| > 1$ 则导致运行时间呈指数级增长。
• 即使 $k$ 未知且参数独立于 $k$ 选择，该算法仍能保持接近最优的 $n^{(k+1)/2}k^{-k/2}e^{O(k)}$ 运行时间。
• 单轮迭代的成本为 $2E[\lambda]$，且当 $\beta_\lambda > 2$ 时，$E[\lambda]$ 保持有界，从而确保每轮迭代的计算成本稳定。
• 分析确认，参数独立性的代价极低——仅增加 $O(n\log n)$ 因子——使得该方法在参数选择非最优的情况下仍具实用性。
• 结果表明，对多个参数采用重尾参数选择是一种可行且可扩展的策略，适用于非单峰问题，性能损失虽可累积但仍在可接受范围内。