[论文解读] Variational optimization in the AI era: Computational Graph States and Supervised Wave-function Optimization

Dmitrii Kochkov, Bryan K. Clark|arXiv (Cornell University)|Nov 29, 2018

Neural Networks and Reservoir Computing被引用 32

一句话总结

本文提出了计算图态（CGS），一种将所有可计算的变分波函数统一表示为可微分计算图的框架，并提出了受监督学习启发的新型优化方法——受监督波函数优化（SWO）。SWO 实现了在多种架构（包括全卷积网络）上的高效、可扩展的参数优化，在一维和二维海森堡模型中实现了具有竞争力的基态能量，且参数可在不同系统尺寸间迁移使用。

ABSTRACT

Representing a target quantum state by a compact, efficient variational wave-function is an important approach to the quantum many-body problem. In this approach, the main challenges include the design of a suitable variational ansatz and optimization of its parameters. In this work, we address both of these challenges. First, we define the variational class of Computational Graph States (CGS) which gives a uniform framework for describing all computable variational ansatz. Secondly, we develop a novel optimization scheme, supervised wave-function optimization (SWO), which systematically improves the optimized wave-function by drawing on ideas from supervised learning. While SWO can be used independently of CGS, utilizing them together provides a flexible framework for the rapid design, prototyping and optimization of variational wave-functions. We demonstrate CGS and SWO by optimizing for the ground state wave-function of 1D and 2D Heisenberg models on nine different variational architectures including architectures not previously used to represent quantum many-body wave-functions and find they are energetically competitive to other approaches. One interesting application of this architectural exploration is that we show that fully convolution neural network wave-functions can be optimized for one system size and, using identical parameters, produce accurate energies for a range of system sizes. We expect these methods to increase the rate of discovery of novel variational ansatz and bring further insights to the quantum many body problem.

研究动机与目标

• 通过将多种变分 ansatz 统一于单一计算框架下，解决为量子多体系统设计和优化变分波函数的挑战。
• 克服传统变分蒙特卡洛方法实现与优化成本高昂的问题，从而限制了新型 ansatz 架构的探索。
• 通过基于图的形式化方法实现快速原型设计与自动微分，加速有效变分波函数的发现。
• 提出一种新型优化方案 SWO，通过借鉴监督学习原理，提升收敛速度并避免陷入局部极小值。
• 证明在相同参数下，可在一种系统尺寸上训练的全卷积网络架构可推广至其他系统尺寸。

提出的方法

• 将计算图态（CGS）定义为使用有向无环图表示变分波函数的通用形式，其中输入节点代表计算基态，输出节点代表波函数振幅。
• 将所有已知的变分 ansatz（包括 RBM、MPS、斯莱特行列式和神经网络）表示为 CGS 框架内的特定架构配置。
• 在 CGS 中实现自动微分，以计算能量关于变分参数的梯度，从而实现高效的优化。
• 提出受监督波函数优化（SWO），通过最小化当前波函数与目标改进波函数之间的 L2 差异，采用监督学习目标。
• 实现 IT-SWO（虚时 SWO），一种一阶优化方法，利用虚时演化算符加速收敛并避免局部极小值。
• 并行使用多种架构，其中更具表达能力的架构可作为指导者，引导表达能力较弱的架构，实现穿越能量势垒。

实验结果

研究问题

• RQ1 是否可以构建一个统一的计算框架，将所有高效、可计算的量子多体系统变分波函数统一表示？
• RQ2 能否有效适配监督学习原理，以比传统能量最小化更高效地优化量子变分波函数？
• RQ3 在单一系统尺寸上优化的波函数是否可无需微调即推广至其他系统尺寸，特别是在卷积架构中？
• RQ4 除受限玻尔兹曼机外，其他神经网络架构是否可在变分量子蒙特卡洛中实现具有竞争力的性能？
• RQ5 CGS 与 SWO 的协同作用如何实现变分 ansatz 的更快、更系统的探索？

主要发现

• CGS 框架成功地将多种变分 ansatz（包括 RBM、MPS、斯莱特行列式和全卷积网络）统一于单一、可微分的图形式化中。
• SWO 的收敛速度优于标准随机梯度下降，因为它沿着已知收敛更快的虚时演化路径进行优化。
• 在单一系统尺寸上训练的全卷积神经网络波函数，可使用相同参数在广泛其他系统尺寸上准确预测基态能量。
• 此前在该背景下未被探索的新型架构（如 ResNet 和多 RBM 波函数）在 1D 和 2D 海森堡模型中表现出具有竞争力的能量。
• 通过并行使用多种架构并结合 SWO，可有效逃离局部极小值，因为更具表达能力的架构可引导表达能力较弱的架构向更优解前进。
• 开源的 CGS-VMC 代码库（网址：https://github.com/ClarkResearchGroup/cgs-vmc）保障了结果的可复现性，并促进了未来对新型 ansatz 的探索。