[论文解读] Probabilistic analysis of the (1+1)-evolutionary algorithm

Hsien‐Kuei Hwang, Alois Panholzer+3 more|arXiv (Cornell University)|Sep 17, 2014

Metaheuristic Optimization Algorithms Research参考文献 23被引用 7

一句话总结

本文针对突变率 $ p = \frac{1}{n} $ 的 OneMax 函数，对 (1+1)-进化算法进行了严格的概率分析，采用渐近展开与精细误差分析，推导出优化时间期望及其方差的精确近似。主要贡献在于对均值与方差的强渐近刻画：$ \mathbb{E}[X_n] = en\log n + c_1 n + o(n) $，其中 $ c_1 \approx -1.9 $，并证明了在随机初始输入下，优化时间收敛于正态分布的中心极限定理。

ABSTRACT

We give a detailed analysis of the cost used by the (1+1)-evolutionary algorithm. The problem has been approached in the evolutionary algorithm literature under various views, formulation and degree of rigor. Our asymptotic approximations for the mean and the variance represent the strongest of their kind. The approach we develop is also applicable to characterize the limit laws and is based on asymptotic resolution of the underlying recurrence. While most approximations have their simple formal nature, we elaborate on the delicate error analysis required for rigorous justifications.

研究动机与目标

• 提供 (1+1)-EA 在 OneMax 函数上性能的严格概率分析，弥补以往研究在误差分析与渐近精度方面的不足。
• 在标准突变率 $ p = \frac{1}{n} $ 下，推导优化时间期望与方差的尖锐渐近近似。
• 建立优化时间的极限分布，证明随机初始输入下其渐近正态性。
• 通过完整的误差分析，解决以往结果中长期存在的模糊性问题，特别是针对基于递推关系的近似。

提出的方法

• 基于求解控制期望时间与各阶矩的底层递推关系，采用生成函数与渐近展开方法。
• 作者推导出从状态 $ m $ 到 $ n $ 的 hitting time 的精确表达式：均值 $ \nu_{n,m} $、方差 $ \varsigma_{n,m}^2 $ 及更高阶矩，随后对初始状态进行聚合。
• 采用特征函数方法证明渐近正态性，通过将状态和细分为接近目标与远离目标区域实现。
• 应用 Lyapounov 条件与傅里叶分析技术，推导出类似 Berry-Esseen 的界，确保收敛至正态分布。
• 方法包括对矩生成函数 $ Q_{n,m}(s) $ 的局部展开，从而在特征函数中实现对误差项的统一控制。
• 分析利用参数 $ c = -\log(1 - \frac{1}{n}) \sim \frac{1}{n} $，将离散递推关系转化为连续渐近框架。

实验结果

研究问题

• RQ1 当 $ p = \frac{1}{n} $ 时，(1+1)-EA 在 OneMax 函数上的优化时间期望的精确渐近行为是什么？
• RQ2 如何严格近似优化时间的方差，其主导渐近形式为何？
• RQ3 当从随机初始字符串开始时，优化时间是否在分布上收敛至正态分布？
• RQ4 能否通过严格的误差分析，完全验证先前近似中的误差项，特别是 Garnier 等人工作中的误差项？

主要发现

• 期望优化时间满足 $ \mathbb{E}[X_n] = en\log n + c_1 n + o(n) $，其中 $ c_1 \approx -1.9 $，这是目前已知最强的渐近近似。
• 优化时间的方差渐近为 $ \varsigma_n^2 \sim \frac{e^{2c}-1}{8c^3} n^3 $，其中 $ c \sim \frac{1}{n} $，表明其随 $ n $ 呈立方增长。
• 对于随机初始输入，归一化后的优化时间 $ \frac{Y_n - \nu_n}{\varsigma_n} $ 在分布上收敛于标准正态分布 $ \Phi(x) $。
• 命中时间的三阶与四阶中心矩满足 $ \mathbb{E}[(Y_{n,m} - \nu_{n,m})^3] = O(n^2) $ 与 $ \mathbb{E}[(Y_{n,m} - \nu_{n,m})^4] \sim 3\varsigma_{n,m}^4 $，支持中心极限定理。
• 通过傅里叶分析建立 Berry-Esseen 界，表明收敛速度受 $ O(n^{-1/6}) $ 控制，该速率对方法而言是最优的。
• 该分析严格验证了 Garnier 等人工作中渐近近似的合理性，解决了此前对误差分析不完整性的担忧。