[论文解读] The Fitness Level Method with Tail Bounds

Carsten Witt|arXiv (Cornell University)|Jul 16, 2013

Optimization and Search Problems参考文献 8被引用 3

一句话总结

该论文通过为随机搜索启发式的运行时间分析引入精确的上下尾界，扩展了适应度层级方法，消除了以往限制——即尾界仅在运行时间至少为期望值两倍时才适用。论文证明了随机局部搜索（RLS）在OneMax问题上的运行时间在 $ nackslash\ln n - 0.1159n $ 附近被紧密集中，且上下偏差的尾概率均呈指数衰减。

ABSTRACT

The fitness-level method, also called the method of f-based partitions, is an intuitive and widely used technique for the running time analysis of randomized search heuristics. It was originally defined to prove upper and lower bounds on the expected running time. Recently, upper tail bounds were added to the technique; however, these tail bounds only apply to running times that are at least twice as large as the expectation. We remove this restriction and supplement the fitness-level method with sharp tail bounds, including lower tails. As an exemplary application, we prove that the running time of randomized local search on OneMax is sharply concentrated around n ln n - 0.1159 n.

研究动机与目标

• 消除先前尾界中要求运行时间至少为期望值两倍的限制。
• 为适应度层级方法提供上下尾界，包括新颖的下尾不等式。
• 将改进的方法应用于随机局部搜索在OneMax问题上的运行时间，获得精确的集中结果。
• 证明运行时间在 $ n\ln n - 0.1159n $ 附近被紧密集中，优于先前的分析。

提出的方法

• 为独立几何分布随机变量之和提出新的尾界，这些是适应度层级分析的基本构建模块。
• 推导出下尾界：$ \operatorname{Pr}(X < \mathbb{E}[X] - \delta) \leq e^{-\delta^2 / (2s)} $，其中 $ s = \sum_{i=1}^n (1/p_i)^2 $。
• 推导出上尾界：$ \operatorname{Pr}(X > \mathbb{E}[X] + \delta) \leq e^{-\frac{\delta}{4} \cdot \min\{\delta/s, h\}} $，其中 $ h = \min_i p_i $。
• 在指数矩方法中应用，并利用矩生成函数不等式推导出界。
• 在RLS应用于OneMax的背景下使用这些界，其中适应度层级对应汉明权重，等待时间呈几何分布。
• 利用调和数近似和集中不等式，推导出期望运行时间及尾偏差的紧界。

实验结果

研究问题

• RQ1 适应度层级方法能否被扩展，以在无需运行时间至少为期望值两倍的条件下提供精确的尾界？
• RQ2 能否为适应度层级分析中几何分布等待时间之和推导出非渐近的精确下尾界？
• RQ3 利用改进的尾界，随机局部搜索在OneMax上的运行时间能多紧密地集中在其均值附近？
• RQ4 新尾界能否用于证明运行时间在 $ n\ln n - 0.1159n $ 附近集中？

主要发现

• RLS在OneMax上的期望运行时间被紧密界定：$ \mathbb{E}[T] = n\ln n - 0.11593n + o(n) $。
• 下尾概率满足：对任意 $ r > 0 $，有 $ \operatorname{Pr}(T \leq \mathbb{E}[T] - rn) \leq e^{-3r^2 / \pi^2} $。
• 上尾概率的界为：当 $ 0 < r \leq \pi^2 / 6 $ 时，$ \operatorname{Pr}(T \geq \mathbb{E}[T] + rn) \leq e^{-3r^2 / (2\pi^2)} $；否则为 $ e^{-r/4} $。
• 运行时间在 $ n\ln n - 0.1159n $ 附近被精确集中，且尾概率呈指数衰减。
• 新尾界通过消除上尾中的因子2，并首次为此类设置提供非平凡的下尾界，优于先前结果。
• 分析证实，RLS在OneMax上的随机过程（等价于优惠券收集问题）表现出强集中性，填补了文献中的空白。