[论文解读] State-Dependent Temperature Control for Langevin Diffusions

Xuefeng Gao, Zuo Quan Xu+1 more|arXiv (Cornell University)|Nov 15, 2020

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

该论文提出了一种基于随机松弛控制与熵正则化的状态依赖温度控制方案，用于非凸优化中的Langevin扩散过程。通过求解Hamilton-Jacobi-Bellman（HJB）方程，推导出一种状态依赖的截断指数分布以采样温度，实现了自适应探索，其性能优于恒定温度、幂律衰减及副本交换方法，在一维基准测试中表现更优。

ABSTRACT

We study the temperature control problem for Langevin diffusions in the context of non-convex optimization. The classical optimal control of such a problem is of the bang-bang type, which is overly sensitive to errors. A remedy is to allow the diffusions to explore other temperature values and hence smooth out the bang-bang control. We accomplish this by a stochastic relaxed control formulation incorporating randomization of the temperature control and regularizing its entropy. We derive a state-dependent, truncated exponential distribution, which can be used to sample temperatures in a Langevin algorithm, in terms of the solution to an HJB partial differential equation. We carry out a numerical experiment on a one-dimensional baseline example, in which the HJB equation can be easily solved, to compare the performance of the algorithm with three other available algorithms in search of a global optimum.

研究动机与目标

• 解决经典bang-bang温度控制在Langevin扩散中对误差过于敏感且缺乏适应性的问题。
• 开发一种内生的、与状态相关的温度调度策略，根据当前在状态空间中的位置动态调整探索行为。
• 基于随机松弛控制，为非凸优化中平滑刚性最优控制策略提供理论基础框架。
• 通过减少在局部极小值处的停留时间，并在适当情况下集中于全局极小值附近，实现更高效的全局优化。

提出的方法

• 将温度控制问题建模为带有熵正则化的随机松弛控制问题，以平滑经典bang-bang控制。
• 利用Hamilton-Jacobi-Bellman（HJB）偏微分方程的解，推导出状态依赖的温度分布。
• 引入一种截断指数分布用于温度采样，其参数由HJB方程的解决定，以实现自适应探索。
• 利用HJB方程的解定义状态依赖的噪声方差，其中在远离全局极小值的区域（如局部极小值或鞍点附近）施加较高温度。
• 在一维示例中数值求解HJB方程，获得温度策略，并将其嵌入Langevin算法中。
• 通过随机化与熵正则化技术实现松弛，使控制策略更具鲁棒性与可解释性。

实验结果

研究问题

• RQ1 如何使Langevin扩散中的温度控制实现内生化与状态依赖，以提升非凸景观下的全局优化性能？
• RQ2 如何通过随机松弛控制与熵正则化，为平滑刚性bang-bang温度控制提供理论基础？
• RQ3 基于HJB方程推导出的状态依赖温度策略是否能优于标准方法（如恒定温度、幂律衰减与副本交换）？
• RQ4 HJB解的结构如何影响状态依赖温度函数的形状，及其在逃离局部极小值中的有效性？

主要发现

• 所提出的算法采用状态依赖温度采样，在500次迭代内于一维基准测试中，优于三种基线方法——恒定温度、幂律衰减与副本交换，更有效地定位全局最小值。
• HJB解 $ v(x) $ 在全局最小值 $ x = 4 $ 附近迅速增长，表明该区域探索需求降低，因此温度相应降低。
• 二阶导数 $ v''(x) $ 在 $ x = -2 $ 处出现显著尖峰，对应于温度函数中的明显拐点，反映出在局部极小值附近需增强探索。
• 状态依赖温度函数 $ h^2/2 $ 在 $ x > 3 $ 时接近零，表明在全局最小值附近噪声极小（低温），而在其他区域则保持较高（最高达500），以实现从陷阱中逃脱。
• 该算法展现出智能行为：在局部极小值与鞍点处使用高温以实现逃离，在接近全局最小值时使用低温以精细优化解。
• 尽管因求解非线性ODE导致计算成本较高，该方法仍提供了一种理论坚实、可解释且自适应的Langevin扩散温度控制机制。