[论文解读] Substochastic Monte Carlo Algorithms

Michael Jarret, Brad Lackey|arXiv (Cornell University)|Apr 28, 2017

Computability, Logic, AI Algorithms参考文献 10被引用 3

一句话总结

本文提出了亚随机蒙特卡洛（SSMC），一种通用的经典优化算法，通过模拟在亚随机动力学下演化的行走者群体来求解组合优化问题。SSMC 被证明比 Go-With-The-Winners（GWW）快指数级，甚至优于启发它而来的量子退火算法，同时还能在一般搜索空间中对偏差执行梯度下降。

ABSTRACT

In this paper we introduce and formalize Substochastic Monte Carlo (SSMC) algorithms. These algorithms, originally intended to be a better classical foil to quantum annealing than simulated annealing, prove to be worthy optimization algorithms in their own right. In SSMC, a population of walkers is initialized according to a known distribution on an arbitrary search space and varied into the solution of some optimization problem of interest. The first argument of this paper shows how an existing classical algorithm, "Go-With-The-Winners" (GWW), is a limiting case of SSMC when restricted to binary search and particular driving dynamics. Although limiting to GWW, SSMC is more general. We show that (1) GWW can be efficiently simulated within the SSMC framework, (2) SSMC can be exponentially faster than GWW, (3) by naturally incorporating structural information, SSMC can exponentially outperform the quantum algorithm that first inspired it, and (4) SSMC exhibits desirable search features in general spaces. Our approach combines ideas from genetic algorithms (GWW), theoretical probability (Fleming-Viot processes), and quantum computing. Not only do we demonstrate that SSMC is often more efficient than competing algorithms, but we also hope that our results connecting these disciplines will impact each independently. An implemented version of SSMC has previously enjoyed some success as a competitive optimization algorithm for Max-$k$-SAT.

研究动机与目标

• 将亚随机蒙特卡洛（SSMC）形式化为一种超越二元或分层图范围的通用经典优化算法。
• 建立 SSMC 与 Go-With-The-Winners（GWW）之间的严格联系，证明 GWW 是在特定动力学下 SSMC 的极限情况。
• 证明 SSMC 可在相同退火时序下实现对 GWW 和启发它的量子退火算法的指数级加速。
• 证明 SSMC 能自然地融入搜索空间中的结构信息，从而高效探索包含局部最优和障碍物的复杂景观。
• 验证 SSMC 在一般图结构中执行对偏差的梯度下降的能力，不受限于树状或分层结构。

提出的方法

• SSMC 通过一个依赖于时间的转移率矩阵 $ H(t) = a(t)L + b(t)W $ 建模一群行走者的连续时间亚随机过程，其中 $ L $ 为图拉普拉斯矩阵，$ W $ 为对角矩阵，编码目标函数值。
• 通过死亡与再填充机制对过程进行重归一化：当一个行走者被吸收（死亡）时，它会被一个幸存行走者的副本取代，从而保持群体规模不变。
• 动力学遵循主方程 $ \frac{d\psi}{dt}(t;y) = -\sum_x H(t)_{y,x} \psi(t;x) $，初始分布为 $ \psi_0 $，演化至 $ \psi(T) $ 中编码的解。
• 算法采用线性退火时序，其中 $ a(t) = 1 - t/T $，$ b(t) = t/T $，在通过 $ L $ 驱动的动力学与通过 $ W $ 表示的优化目标之间插值。
• SSMC 利用 Fleming-Viot 过程框架，模拟一种非守恒的、亚随机的扩散过程，使行走者集中于低能量状态。
• 通过调节时间参数 $ t $ 实现可控下降，可在随机探索与定向搜索之间实现权衡，尤其在 $ t \to 1 $ 时效果显著。

实验结果

研究问题

• RQ1 能否在形式上将亚随机蒙特卡洛（SSMC）确立为 Go-With-The-Winners（GWW）的推广？在何种条件下 SSMC 会收敛于 GWW？
• RQ2 SSMC 在优化任务中是否能实现对 GWW 的指数级加速，特别是在结构化搜索空间中？
• RQ3 即使使用相同的退火时序且不依赖量子资源，SSMC 是否仍能优于启发它的量子退火（QA）算法？
• RQ4 SSMC 在一般搜索空间中的表现如何——特别是在对偏差的梯度下降和跨越障碍物方面——是否超越了分层或二元图的限制？
• RQ5 SSMC 通过何种机制能高效跨越能量景观中的高屏障？死亡与再填充过程如何实现跨屏障的指数级增长？

主要发现

• 在相同驱动动力学下，SSMC 比 Go-With-The-Winners（GWW）快指数级，加速源于其能够利用搜索空间中的结构信息。
• 即使使用相同的退火时序，SSMC 仍可比启发它的量子退火（QA）算法实现指数级加速，原因在于更有效的群体动力学和对偏差的更好利用。
• 在二元搜索空间和特定驱动动力学下，形式上证明了 GWW 是 SSMC 的极限情况，确认了 SSMC 的通用性。
• SSMC 能在一般搜索空间中实现对偏差的梯度下降，当 $ t \to 1 $ 时，向低能量状态转移的概率趋近于 1，前提是满足适当条件。
• 该算法表现出可控的探索与利用之间的权衡，能够延迟下降过程，直到识别出局部最优，从而增强全局搜索能力。
• 通过死亡与再填充机制，SSMC 能以有界概率跨越高屏障，实现在屏障上的行走者指数级增长，如在组合结构（如齿状图）中所展示。