[论文解读] Replica Exchange for Non-Convex Optimization

Jing Dong, Xin T. Tong|arXiv (Cornell University)|Jan 23, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用 7

一句话总结

本文提出了一种新颖的优化算法 GDxLD，通过简单的副本交换机制将梯度下降（GD）与朗之万动力学（LD）相结合：若 LD 找到的目标准值低于 GD，则交换二者的位置。在最优值附近满足强凸性条件下，该方法可实现线性收敛至全局最小值，在非凸设置下表现优于单独使用 GD 或 LD。

ABSTRACT

Gradient descent (GD) is known to converge quickly for convex objective functions, but it can be trapped at local minima. On the other hand, Langevin dynamics (LD) can explore the state space and find global minima, but in order to give accurate estimates, LD needs to run with a small discretization step size and weak stochastic force, which in general slow down its convergence. This paper shows that these two algorithms and their non-swapping variants. can ``collaborate" through a simple exchange mechanism, in which they swap their current positions if LD yields a lower objective function. This idea can be seen as the singular limit of the replica-exchange technique from the sampling literature. We show that this new algorithm converges to the global minimum linearly with high probability, assuming the objective function is strongly convex in a neighborhood of the unique global minimum. By replacing gradients with stochastic gradients, and adding a proper threshold to the exchange mechanism, our algorithm can also be used in online settings. We also study non-swapping variants of the algorithm, which achieve similar performance. We further verify our theoretical results through some numerical experiments and observe superior performance of the proposed algorithm over running GD or LD alone.

研究动机与目标

• 为解决梯度下降（GD）在非凸优化中易陷入局部最小值的局限性。
• 克服朗之万动力学（LD）收敛缓慢及近最小值处估计噪声较大的问题，后者在接近最小值时难以保证精度。
• 设计一种协作算法，结合 GD 的快速收敛特性与 LD 的探索能力。
• 在较弱的局部凸性假设下，为所提方法建立理论收敛保证。

提出的方法

• 该算法并行运行两个过程：一条 GD 轨迹和一条离散化的 LD 轨迹。
• 在每次迭代中，若 LD 轨迹的目标准值低于 GD，则交换二者的位置。
• 该方法被形式化为 GDxLD（交换版本）与 nGDxLD（非交换版本），二者均被证明具有等价的收敛性质。
• 交换机制受副本交换采样启发，此处被视为并行退火的极限情形。
• 通过使用随机梯度，将算法扩展至在线设置，得到 SGDxSGLD 与 nSGDxSGLD。
• 理论分析依赖于耦合论证、LD 到达全局最小值邻域的 hitting time 边界，以及 GD 收敛的浓度不等式。

实验结果

研究问题

• RQ1 结合 GD 与 LD 的混合算法是否能在非凸优化中实现更快且更可靠的全局最小值收敛？
• RQ2 副本交换机制是否能通过利用 LD 的探索能力，使 GD 成功逃离局部最小值？
• RQ3 在局部凸性假设下，此类混合算法的理论收敛速率如何？
• RQ4 该方法能否扩展至使用随机梯度的在线设置，同时保持收敛保证？
• RQ5 交换与非交换变体在性能与理论边界方面有何比较？

主要发现

• 当目标函数在唯一全局最小值的邻域内为强凸函数时，GDxLD 以高概率实现对全局最小值的线性收敛。
• 复杂度界为 O(log(1/ε))，达到 ε-精度，与全局强凸性下的标准 GD 相当，但此时仅需更弱的局部假设。
• 非交换变体 nGDxLD 与 GDxLD 具有相同的收敛速率和复杂度界。
• 在在线设置下，SGDxSGLD 在随机梯度噪声为 O(√ε) 阶的次高斯噪声下，总体复杂度为 O(ε⁻¹ log(1/ε))。
• 数值实验验证了 GDxLD 与 nGDxLD 在非凸优化任务中显著优于独立使用 GD 或 LD 的性能。