[论文解读] Quantum Ground States from Reinforcement Learning
本文提出一种强化学习方法，通过费曼-卡茨表示法将量子基态计算问题转化为随机路径的最优控制问题。该方法训练神经网络以学习最优漂移场，作为路径积分轨迹的重要性采样器，使氢原子、氦原子和氢分子的能量预测值与精确值的偏差在0.3%以内。
Finding the ground state of a quantum mechanical system can be formulated as an optimal control problem. In this formulation, the drift of the optimally controlled process is chosen to match the distribution of paths in the Feynman--Kac (FK) representation of the solution of the imaginary time Schr\"odinger equation. This provides a variational principle that can be used for reinforcement learning of a neural representation of the drift. Our approach is a drop-in replacement for path integral Monte Carlo, learning an optimal importance sampler for the FK trajectories. We demonstrate the applicability of our approach to several problems of one-, two-, and many-particle physics.
研究动机与目标
- 通过深度学习缓解量子多体问题的指数级扩展，实现高效的基态近似。
- 利用虚时薛定谔方程，将量子基态计算重新表述为最优控制问题。
- 开发一种可微分的强化学习框架，学习费曼-卡茨路径的最优重要性采样分布。
- 提供路径积分蒙特卡罗的即插即用替代方案，通过学习到的漂移场实现更高的采样效率。
- 通过量子态的随机过程表示，将深度学习方法拓展至薛定谔绘景之外。
提出的方法
- 利用费曼-卡茨公式，将基态表述为虚时薛定谔方程的解。
- 将解表示为具有与势能相关的权重的布朗运动路径期望，从而实现随机采样。
- 利用最优控制理论推导出最小化路径积分估计方差的漂移场，对应于最优重要性采样器。
- 使用基于路径权重方差减少的奖励信号，通过强化学习训练神经网络（PAIRDRIFT）表示漂移场。
- 采用随机微分方程（SDEs）在学习到的漂移场下模拟路径，实现通过轨迹的可微分反向传播。
- 针对连续空间体系，采用带跳跃连接的残差网络架构，以建模电子-原子核和电子-电子的尖点行为。
实验结果
研究问题
- RQ1能否使用强化学习训练神经网络，以学习费曼-卡茨路径在量子基态计算中的最优重要性采样分布？
- RQ2与传统的路径积分蒙特卡罗相比，该基于强化学习的路径采样方法在能量精度和方差减少方面表现如何？
- RQ3该方法是否能在不依赖显式波函数试探形式的情况下，实现对一、二、多体量子体系的高精度基态能量计算？
- RQ4所学习到的漂移场在多大程度上能够捕捉原子和分子体系中的电子相关性和尖点条件等物理特征？
- RQ5该方法在不同量子体系中是否具备可扩展性和泛化能力，包括阱中相互作用的任意子和具有不同键长的分子？
主要发现
- 对于氢原子、氦原子以及处于平衡几何构型和拉伸构型下的氢分子，该方法的能量预测值与数值精确值的相对误差在0.3%以内。
- 在R = 2.8（拉伸）的氢分子体系中，预测能量与精确值相差仅0.3%，表明对分子形变具有鲁棒性。
- 带有跳跃连接的PAIRDRIFT神经网络架构成功捕捉了电子-电子和电子-原子核的尖点行为，在关联体系中提升了精度。
- 对于二维谐振子阱中N = 2、3和4个具有有限范围相互作用的玻色子，该方法在所有测试的相互作用强度和范围下，结果与精确对角化结果的偏差在1%以内。
- 相互作用玻色子的所学习漂移场表现出使粒子相互分离的趋势，与物理直觉和关联效应一致。
- 该方法通过最优控制提供了一种基态近似的变分原理，实现了通过SDEs对路径采样策略的可微分训练。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。