[论文解读] Running Time Analysis of the (1+1)-EA for OneMax and LeadingOnes under Bit-wise Noise

Chao Qian, Chao Bian+2 more|arXiv (Cornell University)|Nov 2, 2017

Metaheuristic Optimization Algorithms Research参考文献 27被引用 3

一句话总结

本文首次对 (1+1)-EA 在 OneMax 和 LeadingOnes 问题上于位级噪声下的运行时间进行了分析，其中每位独立以概率 q 被翻转。研究证明，仅当噪声水平较低（q = O(log n / n)）时，才能实现多项式运行时间，并表明采样显著增强了鲁棒性，通过扩展可容忍噪声的范围，使得在更高噪声水平下也能实现多项式时间收敛。

ABSTRACT

In many real-world optimization problems, the objective function evaluation is subject to noise, and we cannot obtain the exact objective value. Evolutionary algorithms (EAs), a type of general-purpose randomized optimization algorithm, have been shown to be able to solve noisy optimization problems well. However, previous theoretical analyses of EAs mainly focused on noise-free optimization, which makes the theoretical understanding largely insufficient for the noisy case. Meanwhile, the few existing theoretical studies under noise often considered the one-bit noise model, which flips a randomly chosen bit of a solution before evaluation; while in many realistic applications, several bits of a solution can be changed simultaneously. In this paper, we study a natural extension of one-bit noise, the bit-wise noise model, which independently flips each bit of a solution with some probability. We analyze the running time of the (1+1)-EA solving OneMax and LeadingOnes under bit-wise noise for the first time, and derive the ranges of the noise level for polynomial and super-polynomial running time bounds. The analysis on LeadingOnes under bit-wise noise can be easily transferred to one-bit noise, and improves the previously known results. Since our analysis discloses that the (1+1)-EA can be efficient only under low noise levels, we also study whether the sampling strategy can bring robustness to noise. We prove that using sampling can significantly increase the largest noise level allowing a polynomial running time, that is, sampling is robust to noise.

研究动机与目标

• 分析 (1+1)-EA 在 OneMax 和 LeadingOnes 问题上于位级噪声模型下的运行时间，其中每位独立以概率 q 被翻转。
• 确定 (1+1)-EA 实现多项式或超多项式运行时间的噪声阈值水平（以 p 和 q 表示）。
• 研究采样是否能提升 (1+1)-EA 对噪声的鲁棒性，特别是在更高噪声水平下。
• 在先前关于单比特噪声结果的基础上进行细化和改进，将其推广至更一般的位级噪声模型。
• 探索在极端噪声条件下采样的局限性，并识别采样无法保证多项式运行时间的条件。

提出的方法

• 使用漂移分析来界定每次迭代的预期进展，通过测量到最优解距离的预期减少量进行衡量。
• 对于无采样的 (1+1)-EA，计算在位级噪声（p, q）下的预期漂移，其中 p 表示解上噪声的概率，q 表示特定位翻转的概率。
• 对于采样变体，算法对每个解进行 m 次评估并选择最佳的适应度估计值，其中 m 选取为 O(n^4 log n)，以确保适应度估计的高置信度。
• 分析根据当前解的适应度水平区分不同情况，尤其关注接近最优解的解（即具有 n-3、n-2、n-1 个前导 1 的解）。
• 分析在噪声下更好与更差解之间的适应度差异，以评估采样是否能可靠地区分它们。
• 利用漂移定理推导出预期运行时间的理论界，最终结果表示为在位级噪声下采样变体的运行时间为 O(n^8)。

实验结果

研究问题

• RQ1 在位级噪声下，(1+1)-EA 在何种噪声参数 (p, q) 范围内能以多项式期望时间求解 OneMax 和 LeadingOnes 问题？
• RQ2 在位级噪声模型中，当噪声水平较高（如 q = ω(log n / n)）时，(1+1)-EA 的性能如何退化？
• RQ3 采样策略是否能显著扩展 (1+1)-EA 保持多项式运行时间的噪声水平范围？
• RQ4 尽管在低噪声下采样表现良好，为何当 q = ω(log n / n) 或 q ≥ 1/2 时，采样无法保证多项式运行时间？
• RQ5 在位级噪声下对 LeadingOnes 的分析与对 OneMax 的分析相比如何？其差异在采样有效性上的原因是什么？

主要发现

• (1+1)-EA 仅在 q = O(log n / n) 时，才能在位级噪声下以多项式期望时间求解 OneMax 和 LeadingOnes 问题，且该界对两个问题均是紧的。
• 对于无采样的 (1+1)-EA，当 q ≥ 1/2 或 q = 1/2 - 1/n^ω(1) 时，其预期运行时间变为超多项式，表明对噪声具有高度敏感性。
• 采样策略提高了可容忍噪声的最大水平：即使在 q = O(log n / n) 时，(1+1)-EA 采样变体仍能实现多项式运行时间，显著优于无采样变体。
• 分析表明，当 q = ω(log n / n) 时，采样失效，因为更好与更差解之间的适应度差异的期望值变得过小，无法可靠区分。
• (1+1)-EA 采样变体的预期运行时间为 O(n^8)，每次迭代需 O(n^4 log n) 次适应度评估，因此总期望运行时间仍保持多项式。
• 在位级噪声下对 LeadingOnes 的分析优于先前关于单比特噪声的研究，提供了更紧的界，并证实了在此设置下采样的鲁棒性。