[论文解读] Self-Supervised Learning of Generative Spin-Glasses with Normalizing Flows

Gavin S. Hartnett, Masoud Mohseni|arXiv (Cornell University)|Jan 2, 2020

Theoretical and Computational Physics被引用 10

一句话总结

本文提出一种自监督的归一化流框架，通过连续生成建模来模拟复杂、多模态的自旋玻璃分布。通过训练逆向流将崎岖的能量景观映射到简单的高斯分布，该方法学习到可逆的、多尺度的粗粒化操作，揭示了亚稳态之间的拓扑结构，并在流层内表现出一种涌现的自旋玻璃相变。

ABSTRACT

Spin-glasses are universal models that can capture complex behavior of many-body systems at the interface of statistical physics and computer science including discrete optimization, inference in graphical models, and automated reasoning. Computing the underlying structure and dynamics of such complex systems is extremely difficult due to the combinatorial explosion of their state space. Here, we develop deep generative continuous spin-glass distributions with normalizing flows to model correlations in generic discrete problems. We use a self-supervised learning paradigm by automatically generating the data from the spin-glass itself. We demonstrate that key physical and computational properties of the spin-glass phase can be successfully learned, including multi-modal steady-state distributions and topological structures among metastable states. Remarkably, we observe that the learning itself corresponds to a spin-glass phase transition within the layers of the trained normalizing flows. The inverse normalizing flows learns to perform reversible multi-scale coarse-graining operations which are very different from the typical irreversible renormalization group techniques.

研究动机与目标

• 开发一种用于具有离散、高度相关状态的复杂自旋玻璃系统的深度生成模型。
• 通过学习系统特定的可逆变换，克服传统方法（如平均场理论和重整化群）的局限性。
• 通过直接从自旋玻璃哈密顿量生成训练数据，无需外部数据集，实现自监督学习。
• 通过学习的潜在表示揭示亚稳态之间的隐藏拓扑结构。
• 探索相变在归一化流层内自身涌现的可能性。

提出的方法

• 使用归一化流对自旋玻璃系统的连续概率分布进行建模，通过可逆神经网络参数化变换。
• 采用自监督范式，其中训练数据通过在逆温度 β=1 下对自旋玻璃哈密顿量（式 1）进行马尔可夫链蒙特卡洛采样生成。
• 应用逆向流 G⁻¹ 将复杂、多模态的能量景观映射到简单的二次形式 ½zᵀz，从而实现高效采样与分析。
• 利用归一化流的可逆性，实现无信息损失的可逆、保信息粗粒化，无需积分掉自由度。
• 通过在玻尔兹曼分布（式 2）上进行似然最大化来训练流，确保模型捕捉真实平衡分布。
• 使用神经微分方程与微分同胚理论，将流形式化为复杂分布与简单分布之间的连续、可微变换。

实验结果

研究问题

• RQ1 归一化流能否学习到具有指数态空间的自旋玻璃系统的复杂、多模态稳态分布？
• RQ2 使用哈密顿量本身生成的数据的自监督训练范式，能否有效建模自旋玻璃系统？
• RQ3 逆向流操作是否可被解释为一种可逆的、多尺度的粗粒化，且能保持物理结构？
• RQ4 训练过程本身是否在归一化流的层内诱导出相变，类似于原始系统中的自旋玻璃相变？
• RQ5 在无序多体系统背景下，归一化流与传统重整化群技术之间存在何种联系？

主要发现

• 逆向归一化流成功地将谢林顿-柯宾自旋玻璃的崎岖、多模态能量景观映射为简单的二次形式，实现了高效采样，并揭示了其底层拓扑结构。
• 该模型学习到可逆的、多尺度的粗粒化操作，保留全部信息，与不可逆的重整化群方法有本质区别。
• 在训练后的归一化流层内观察到一种涌现的自旋玻璃相变，表明流架构与物理系统之间存在深层次结构对应。
• 逆向流的潜在空间捕捉了亚稳态及其拓扑组织，为理解系统的复杂能量景观提供了洞见。
• 该方法可提升哈密顿蒙特卡洛采样性能，如先前使用类似粗粒化映射的工作所展示。
• 由于其系统特定的、可逆的学习范式，该框架广泛适用于组合优化、图模型推理与能量基建模。