[论文解读] Self-learning Monte Carlo with Deep Neural Networks

Huitao Shen, Junwei Liu+1 more|DSpace@MIT (Massachusetts Institute of Technology)|Jan 3, 2018

Quantum and electron transport phenomena被引用 9

一句话总结

本文提出了一种基于深度神经网络（DNN）的自学习蒙特卡洛（SLMC）框架，通过从数据中学习有效哈密顿量，加速了量子杂质模型的模拟。通过利用具有对称性感知能力的卷积神经网络，该方法将局域更新的计算复杂度从Hirsch-Fye算法中的𝒪(β²)降低至𝒪(β ln β)，从而显著减少参数数量并实现更快的推理，使低温度下的高效模拟成为可能。

ABSTRACT

Self-learning Monte Carlo (SLMC) method is a general algorithm to speedup MC simulations. Its efficiency has been demonstrated in various systems by introducing an effective model to propose global moves in the configuration space. In this paper, we show that deep neural networks can be naturally incorporated into SLMC, and without any prior knowledge, can learn the original model accurately and efficiently. Demonstrated in quantum impurity models, we reduce the complexity for a local update from $ \mathcal{O}(β^2) $ in Hirsch-Fye algorithm to $ \mathcal{O}(β\ln β) $, which is a significant speedup especially for systems at low temperatures.

研究动机与目标

• 解决传统量子杂质模型蒙特卡洛模拟中计算成本高和强自相关性的问题。
• 开发一种通用且无偏的框架，无需先验物理知识即可学习有效模型。
• 通过使用训练好的DNN提出的全局移动替代标准局域更新，提升模拟效率。
• 证明具有对称性感知能力的DNN可实现高精度且参数极少，从而减少参数化中的冗余。
• 通过大幅降低计算复杂度，实现实际可行的低温模拟。

提出的方法

• 提出一种自学习蒙特卡洛（SLMC）框架，其中深度神经网络从原始模型采样得到的构型中学习有效哈密顿量H_eff[𝒮; α]。
• 采用具有权重共享和大步长的卷积神经网络（CNN）架构，以尊重平移不变性并减少参数数量。
• 使用反向传播训练DNN，以最小化有效模型的权重W_eff[𝒮; α]与配分函数中确定性计算得到的真实权重W[𝒮]之间的差异。
• 在辅助伊辛自旋空间𝒮中采用全局移动，其接受概率基于W_eff[𝒮₂; α]/W_eff[𝒮₁; α]的比值。
• 通过卷积层（卷积核大小匹配局域相互作用）构建有效模型，随后通过一个小型全连接层输出最终结果。
• 利用DNN的数学通用性来近似任意连续函数，确保表达能力的同时，通过架构约束保持高效性。

实验结果

研究问题

• RQ1 在缺乏先验物理知识的情况下，深度神经网络能否在SLMC中有效用作有效模型？
• RQ2 如何设计神经网络架构以尊重物理对称性，并减少量子杂质模型中的参数冗余？
• RQ3 当使用训练好的DNN作为有效模型时，局域更新的计算复杂度是多少？与Hirsch-Fye算法相比有何差异？
• RQ4 SLMC结合DNN能否在低温下实现高接受率和低自相关时间？
• RQ5 与全连接网络相比，卷积网络在保持精度的同时，能在多大程度上减少可训练参数数量？

主要发现

• 卷积神经网络将可训练参数数量从全连接网络的~10⁵减少至~10²，实现了三个数量级的降低。
• 有效模型中局域更新的计算复杂度从Hirsch-Fye算法的𝒪(β²)降低至𝒪(β ln β)，在大β时显著加速了模拟。
• 尽管参数更少，卷积网络的接受率仍与全连接网络相当或更高，表明其优化和泛化能力更优。
• 该方法实现了极低温下的高效训练与模拟，而全连接网络在此类条件下因计算成本过高或不可行而难以应用。
• 最终的全连接层具有恒定计算成本，且卷积层数量随系统尺寸呈𝒪(ln L)增长，确保了可扩展性。
• 该框架具有通用性，可扩展至杂质模型以外的其他系统，尤其适用于具有局域、平移不变相互作用的系统。