[论文解读] Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems

Maria Chiara Angelini, Angelo Giorgio Cavaliere+2 more|arXiv (Cornell University)|Sep 11, 2023

Stochastic Gradient Optimization TechniquesComputer Science参考文献 52被引用 3

一句话总结

该论文在离散优化与推理问题中，建立了类似随机梯度下降（SGD）的松弛过程与格劳伯动力学（Metropolis蒙特卡罗）之间的定量等价性。尽管SGD违反细致平衡，但当SGD中的小批量大小映射为Metropolis采样中的温度时，两种算法表现出相同的动力学行为，从而可将蒙特卡罗理论应用于优化SGD的小批量大小，以在困难的推理任务中提升信号恢复效果。

ABSTRACT

Is Stochastic Gradient Descent (SGD) substantially different from Metropolis Monte Carlo dynamics? This is a fundamental question at the time of understanding the most used training algorithm in the field of Machine Learning, but it received no answer until now. Here we show that in discrete optimization and inference problems, the dynamics of an SGD-like algorithm resemble very closely that of Metropolis Monte Carlo with a properly chosen temperature, which depends on the mini-batch size. This quantitative matching holds both at equilibrium and in the out-of-equilibrium regime, despite the two algorithms having fundamental differences (e.g.\ SGD does not satisfy detailed balance). Such equivalence allows us to use results about performances and limits of Monte Carlo algorithms to optimize the mini-batch size in the SGD-like algorithm and make it efficient at recovering the signal in hard inference problems.

研究动机与目标

• 解决SGD与Metropolis蒙特卡罗动力学在离散优化与推理问题中是否存在根本性差异这一基本开放问题。
• 在SGD违反细致平衡的前提下，建立SGD中小批量大小与Metropolis动力学中温度之间的定量映射。
• 利用马尔可夫链蒙特卡罗（MCMC）与统计力学的强理论框架，分析并优化SGD在困难推理问题中的性能。
• 证明类似SGD的算法与格劳伯动力学在离散问题的平衡态与非平衡态下动力学行为不可区分。
• 通过小批量大小对随机性的温度类似控制，为SGD成功提供物理解释。

提出的方法

• 提出一种新颖的SGD类算法用于离散问题，受标准连续SGD启发但与其不同，旨在模拟格劳伯动力学的随机性。
• 定义SGD中小批量大小B与Metropolis动力学中温度T之间的映射关系，使两种算法在平衡态与非平衡态下行为完全一致。
• 在随机图中的植入5-着色问题上进行数值模拟，比较两种算法的成核时间、能量弛豫与相变行为。
• 应用涨落-耗散定理与动态平均场理论，推导SGD的有效温度，将其与小批量大小和学习率关联。
• 分析SGD中细致平衡的违反，并证明尽管存在这一根本差异，有效温度映射关系仍保持鲁棒。
• 通过将连通性c按log(N)进行重标度，识别出信号恢复的临界阈值c_GD(N) ≈ A log(N)，并证明其在热力学极限下发散。

Figure 1: Intensive energy reached by the SGD-like algorithm with three different values of $B$ as a function of time, for a single system of size $N=10^{4}$ and mean connectivity $c=19$ . For $B=0.86$ the algorithm ends in a paramagnetic state, for $B=0.95$ it ends in some spurious glassy states, w

实验结果

研究问题

• RQ1 在离散优化与推理问题中，SGD类松弛与格劳伯动力学之间是否存在根本性差异？
• RQ2 SGD中的小批量大小能否映射为Metropolis蒙特卡罗中的温度参数，使得两种算法产生完全相同的动力学？
• RQ3 SGD中缺乏细致平衡是否阻止其达到与Metropolis动力学相同的统计行为？
• RQ4 SGD类算法无法恢复植入解的临界连通性c_GD(N)是多少？其随系统大小N如何演化？
• RQ5 蒙特卡罗理论中的结果（如相变与弛豫时间）能否用于优化困难推理任务中SGD的小批量大小？

主要发现

• 尽管SGD违反细致平衡，其类SGD松弛的动力学在平衡态与非平衡态下与格劳伯动力学在定量上完全等价。
• SGD中的小批量大小B与Metropolis动力学中的温度T之间存在映射关系，使两种算法表现出相同的成核时间分布与平台能量。
• 在植入5-着色问题中，信号恢复的临界连通性c_GD(N)随系统大小N对数增长，即c_GD(N) ≈ A log(N)，其中A = O(1)，且在热力学极限下发散。
• 当c < 18时，推理任务变得不可能，两种算法均在随机实例上进行优化，进入顺磁态或自旋玻璃态，具体取决于温度/B。
• 通过涨落-耗散定理推导出的SGD有效温度依赖于小批量大小与学习率，可解释SGD中观测到的非高斯噪声及可能的Lévy飞行行为。
• 有效T(B)关系中观测到的c依赖性源于连通性增加导致的自旋构型s与u的可能数目增加，这略微改变了B与T之间的平均映射关系。

Figure 2: Average energy $\overline{e}$ mediated over 280 samples for three different sizes $N=10^{3},10^{4},10^{5}$ (from left to right), for MC and SGD-like algorithms. Left : In MC at a temperature $T=0.49$ and SGD-like algorithm with a mini-batch parameter $B=0.92$ the energy relaxes in a very s