[论文解读] Search space analysis with Wang-Landau sampling and slow adaptive walks

Susan Khor|arXiv (Cornell University)|Dec 27, 2011

Evolutionary Algorithms and Applications参考文献 21被引用 3

一句话总结

本文提出了一种新颖的方法，利用Wang-Landau采样与缓慢自适应游走来分析搜索空间，以检测潜在局部最优解（PLOPs）并提高采样效率。通过将局部最优解建模为可访问性高而可离开性低的点，并基于局部最优分值进行调整，Wang-Landau采样得以扩展以探索更大空间。该方法识别出的PLOPs保有真实局部最优解的关键特征，且产生的样本比均匀随机采样更具代表性，尽管计算成本仍是一大挑战。

ABSTRACT

Two complementary techniques for analyzing search spaces are proposed: (i) an algorithm to detect search points with potential to be local optima; and (ii) a slightly adjusted Wang-Landau sampling algorithm to explore larger search spaces. The detection algorithm assumes that local optima are points which are easier to reach and harder to leave by a slow adaptive walker. A slow adaptive walker moves to a nearest fitter point. Thus, points with larger outgoing step sizes relative to incoming step sizes are marked using the local optima score formulae as potential local optima points (PLOPs). Defining local optima in these more general terms allows their detection within the closure of a subset of a search space, and the sampling of a search space unshackled by a particular move set. Tests are done with NK and HIFF problems to confirm that PLOPs detected in the manner proposed retain characteristics of local optima, and that the adjusted Wang-Landau samples are more representative of the search space than samples produced by choosing points uniformly at random. While our approach shows promise, more needs to be done to reduce its computation cost that it may pave a way toward analyzing larger search spaces of practical meaning.

研究动机与目标

• 开发一种在不依赖固定移动集合的前提下，识别复杂搜索空间中潜在局部最优解（PLOPs）的方法。
• 通过将Wang-Landau采样适配至缓慢自适应游走，提升其在大规模搜索空间中的广度探索能力。
• 验证通过所提方法识别出的PLOPs是否保有真实局部最优解的本质特征。
• 证明经调整的Wang-Landau采样相较于均匀随机采样能产生更具代表性的样本。
• 解决在实际应用中分析大规模搜索空间时计算成本过高的挑战。

提出的方法

• 基于缓慢自适应游走中出边与入边步长比值计算局部最优分值，识别出易于进入但难以离开的点作为PLOPs。
• 缓慢自适应游走算法仅移动至更优的相邻点，模拟在局部最优解处累积的过程。
• 修改Wang-Landau采样算法以融合缓慢自适应游走的动力学特性，实现对搜索空间的更广泛探索。
• 该方法在搜索空间子集的闭包内检测PLOPs，即使整个空间未被显式定义也可实现检测。
• 将该方法应用于NK与HIFF基准问题，以评估PLOP的质量与采样代表性。
• 将采样效率与均匀随机采样进行比较，结果显示覆盖范围与代表性均有提升。

实验结果

研究问题

• RQ1 通过缓慢自适应游走中步长比值识别出的潜在局部最优解（PLOPs）是否保有真实局部最优解的关键特征？
• RQ2 经调整的Wang-Landau采样算法相较于均匀随机采样，在搜索空间覆盖方面有何改进？
• RQ3 在未进行完整枚举的情况下，能在多大程度上在搜索空间子集的闭包内检测到PLOPs？
• RQ4 将缓慢自适应游走与Wang-Landau采样结合，是否能实现对复杂搜索空间更具有代表性的采样？
• RQ5 所提方法的计算成本是多少？是否可通过优化使其适用于大规模问题的实际应用？

主要发现

• 在NK与HIFF问题中，利用局部最优分值公式检测出的PLOPs保有真实局部最优解的本质特征。
• 经调整的Wang-Landau采样算法产生的搜索空间样本比均匀随机采样更具代表性。
• 该方法即使在仅基于搜索空间子集的闭包内，也能成功识别潜在局部最优解，且无需完整枚举。
• 该方法实现与特定移动集合无关的搜索空间分析，提升了问题表示的灵活性。
• 尽管前景广阔，该方法仍面临较高的计算成本，限制了其在超大规模搜索空间中的可扩展性。
• 该技术在分析复杂高维搜索空间方面具有可行性，但尚需进一步优化以实现实际部署。