[论文解读] Tutorial: How to Train a Neural Network Potential

Alea Miako Tokita, Jörg Behler|PubMed|Aug 17, 2023

Machine Learning in Materials Science参考文献 59被引用 4

一句话总结

本教程提供了一个全面、分步的指南，用于使用数据生成、模型训练和严格验证来训练高维神经网络势（HDNNP）——强调主动学习和不确定性量化，以确保模型的可迁移性和可靠性。其主要贡献是一个经过验证、可推广的工作流程，适用于原子模拟中各种机器学习势。

ABSTRACT

The introduction of modern Machine Learning Potentials (MLPs) has led to a paradigm change in the development of potential energy surfaces for atomistic simulations. By providing efficient access to energies and forces, they allow us to perform large-scale simulations of extended systems, which are not directly accessible by demanding first-principles methods. In these simulations, MLPs can reach the accuracy of electronic structure calculations, provided that they have been properly trained and validated using a suitable set of reference data. Due to their highly flexible functional form, the construction of MLPs has to be done with great care. In this Tutorial, we describe the necessary key steps for training reliable MLPs, from data generation via training to final validation. The procedure, which is illustrated for the example of a high-dimensional neural network potential, is general and applicable to many types of MLPs.

研究动机与目标

• 为解决在大规模原子模拟中开发准确且可迁移的机器学习势（MLPs）的挑战。
• 提供一种系统化、可复现的HDNNP训练工作流程，通过迭代验证确保可靠性。
• 强调数据质量和主动学习在识别未充分代表或外推性构型中的关键作用。
• 建立验证程序的层级结构，包括不确定性量化和与独立模型的交叉验证。
• 推广MLP开发的最佳实践，以避免过拟合并确保在多样化化学环境中的鲁棒性。

提出的方法

• 使用高精度电子结构方法（例如DFT）为多样化原子构型生成参考数据。
• 使用原子中心对称函数（ACSFs）作为不变描述符，编码局部原子环境，同时保持平移、旋转和置换不变性。
• 使用参考数据训练高维神经网络势（HDNNP），将原子构型映射到能量和力。
• 通过使用训练好的HDNNP预测配置空间未探索区域的不确定性，应用主动学习。
• 通过迭代识别并添加高不确定性的新构型到训练集中，以改善覆盖范围并降低外推风险。
• 通过多种检查手段验证最终模型：能量/力相关性图、结构分析、异常值检查，以及与参考DFT数据的直接比较。

Figure 1 : Overview of the construction of a neural network potential.

实验结果

研究问题

• RQ1 如何系统性地生成用于训练可靠HDNNP的代表性且多样化的参考数据集？
• RQ2 主动学习在提高HDNNP训练中覆盖范围并减少外推误差方面发挥什么作用？
• RQ3 如何将不确定性量化集成到训练过程中，以检测未充分代表或外推性构型？
• RQ4 哪些验证程序可确保HDNNP在多样化化学环境和结构基元中保持准确性？
• RQ5 在多大程度上可通过与独立训练模型和参考数据的交叉比较来验证HDNNP的性能？

主要发现

• 参考数据集的质量是决定HDNNP准确性和可迁移性的主要因素，采样不足会导致不可靠预测。
• 主动学习能有效识别配置空间中不确定性高的区域，从而实现有针对性的数据获取，提升模型鲁棒性。
• 位于训练数据边界内但处于稀疏区域的构型（所谓‘空洞’）仍可能预测不佳，可通过不确定性量化检测到。
• 能量和力相关性图作为有效初步诊断工具，强相关性表明模型行为可靠。
• 异常值分析通常可追溯至数据集问题，如不一致或缺失构型，凸显数据质量控制的重要性。
• 完整的验证层级——涵盖主动学习、不确定性量化和与参考数据的直接比较——可确保HDNNP在大规模模拟中具有可靠性。

Figure 2 : Schematic structure of a second-generation high-dimensional neural network potential (HDNNP) Behler and Parrinello ( 2007 ) for the example of a lithium hydroxide ion pair in water (lithium: dark blue; oxygen: red; hydrogen: grey). First, the Cartesian coordinate vectors $\mathbf{R}_{i}^{