[论文解读] Neural Quantum States of frustrated magnets: generalization and sign structure

Tom Westerhout, Nikita Astrakhantsev+3 more|arXiv (Cornell University)|Jul 18, 2019

Quantum many-body systemsPhysics and Astronomy参考文献 50被引用 17

一句话总结

本文研究了在使用神经量子态（NQS）处理几何阻挫的量子自旋系统时，泛化能力和符号结构带来的挑战。通过在有限的精确对角化数据上训练神经网络，研究发现随着阻挫程度增加，泛化性能急剧下降，且学习符号结构比学习振幅困难得多——这表明泛化能力而非表达能力是真实模型中NQS应用的主要瓶颈。

ABSTRACT

Neural quantum states (NQS) attract a lot of attention due to their potential to serve as a very expressive variational ansatz for quantum many-body systems. Here we study the main factors governing the applicability of NQS to frustrated magnets by training neural networks to approximate ground states of several moderately-sized Hamiltonians using the corresponding wavefunction structure on a small subset of the Hilbert space basis as training dataset. We notice that generalization quality, i.e. the ability to learn from a limited number of samples and correctly approximate the target state on the rest of the space, drops abruptly when frustration is increased. We also show that learning the sign structure is considerably more difficult than learning amplitudes. Finally, we conclude that the main issue to be addressed at this stage, in order to use the method of NQS for simulating realistic models, is that of generalization rather than expressibility.

研究动机与目标

• 评估神经量子态（NQS）在自旋阻挫程度逐渐增加的阻挫量子磁体中的适用性。
• 研究神经网络能否从希尔伯特空间基中采样的有限训练数据中实现良好泛化。
• 比较在NQS中学习波函数振幅与符号结构的难度差异。
• 确定在真实多体量子系统中应用NQS时，主要障碍是泛化能力还是表达能力。

提出的方法

• 训练两个独立的神经网络：一个用于预测波函数的符号结构，另一个用于预测振幅，以精确对角化数据作为标签。
• 根据概率分布 $ P(i) = |\psi_i|^2 / \sum_j |\psi_j|^2 $ 从希尔伯特空间基中采样训练集和验证集，确保高振幅构型优先被采样。
• 对符号分类器使用二元交叉熵损失，对振幅网络使用对数振幅的均方误差损失。
• 采用Adam优化算法，学习率设置为 $ 10^{-4} $ 至 $ 10^{-3} $，并通过早停法、Dropout和 $ L_2 $-正则化实现正则化。
• 通过精确基态与NQS试态之间的重叠度来评估模型性能。
• 使用GitHub上公开的代码复现结果，并对超参数进行调优以实现最佳性能。

实验结果

研究问题

• RQ1 量子磁体中阻挫程度的增加如何影响神经网络在近似基态时的泛化能力？
• RQ2 在NQS中，学习波函数符号结构的难度在多大程度上超过学习振幅结构？
• RQ3 在阻挫系统中，NQS的性能更多取决于表达能力还是从有限数据中泛化的能力？
• RQ4 在希尔伯特空间基的有限子集上训练的神经网络，能否准确预测阻挫自旋系统中完整的波函数结构？

主要发现

• 随着阻挫程度增加，NQS的泛化性能急剧下降，表明存在一个临界阈值，超过该阈值后有限数据将不再充分。
• 学习波函数的符号结构比学习振幅困难得多，表现为更高的误差率和更慢的收敛速度。
• 只有当振幅和符号结构都被准确学习时，精确基态与NQS试态之间的重叠度才保持较高；符号错误的影响尤为显著。
• 本研究识别出，泛化能力而非表达能力，是将NQS应用于真实阻挫量子模型的主要挑战。
• 超参数调优，尤其是批量大小，对所需训练比例 $ \varepsilon_{\text{train}} $ 的影响呈非单调性，次优选择可使所需数据量增加多达一个数量级。