[论文解读] Simple and efficient algorithms for training machine learning potentials to force data

Justin S. Smith, Nicholas Lubbers+2 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning in Materials Science被引用 7

一句话总结

该论文提出了一种简单且高效的算法，用于使用从从头算模拟中获得的能量和力数据训练机器学习势函数，实现近线性的计算成本缩放。通过使用方向导数而非迭代反向传播来计算损失梯度，该方法将内存使用量减少50%，并使力训练的计算成本仅比仅能量训练高3倍，且与系统大小或模型复杂度无关。

ABSTRACT

Abstract Machine learning models, trained on data from ab initio quantum simulations, are yielding molecular dynamics potentials with unprecedented accuracy. One limiting factor is the quantity of available training data, which can be expensive to obtain. A quantum simulation often provides all atomic forces, in addition to the total energy of the system. These forces provide much more information than the energy alone. It may appear that training a model to this large quantity of force data would introduce significant computational costs. Actually, training to all available force data should only be a few times more expensive than training to energies alone. Here, we present a new algorithm for efficient force training, and benchmark its accuracy by training to forces from real-world datasets for organic chemistry and bulk aluminum.

研究动机与目标

• 解决传统上在从头算模拟的大规模力数据集上训练机器学习势函数时计算成本过高的问题。
• 开发一种无需依赖机器学习框架的方法，以实现高效的力训练，同时保持与现有神经网络代码的兼容性。
• 通过避免重复的反向传播步骤，减少梯度计算过程中的内存开销。
• 证明力训练的计算成本仅比仅能量训练高数倍，且与系统大小或模型参数无关。
• 提供一种通用算法，可适用于任何专为仅能量训练设计的现有机器学习势函数代码。

提出的方法

• 该方法通过能量梯度的方向导数计算损失梯度，避免了第二轮反向传播的需要。
• 它用单次反向传播加方向导数的有限差分近似，替代了迭代反向传播。
• 该算法使用一个单一的无量纲参数 ε 进行有限差分，通过公式 (10) 对力单位进行适当缩放，以确保训练和未训练模型之间的一致性。
• 该方法与框架无关，可应用于任何已针对能量数据训练的现有神经网络代码，如 AENet、N2P2、ANI 或 PINN。
• 通过使用自适应 ε 的中心差分格式，确保梯度近似具有数值稳定性和低误差。
• 若底层代码库支持双重数，则可实现全数值精度，但实践中有限差分已足够。

实验结果

研究问题

• RQ1 是否可以以仅比仅能量训练高数倍的计算成本，将力数据整合到机器学习势函数的训练中？
• RQ2 是否可能在不使用机器学习框架的情况下，高效计算完整的损失梯度？
• RQ3 通过避免力训练期间的第二轮反向传播步骤，能否减少内存使用量？
• RQ4 方向导数的有限差分近似是否能产生具有最小数值误差的准确梯度？
• RQ5 在正确缩放力单位的前提下，是否可以对训练和未训练模型均有效使用相同的有限差分参数 ε？

主要发现

• 所提出的算法以约3倍于预测所有力的计算成本，计算了力训练的损失梯度，且与系统大小或模型复杂度无关。
• 通过消除第二轮反向传播步骤，该方法相比迭代反向传播将内存使用量减少了50%。
• 在实践中，方向导数的有限差分近似产生的数值误差可忽略不计，尤其是当通过公式 (10) 进行适当的单位缩放时。
• 当力单位正确缩放时，最优有限差分参数 ε 在训练和未训练模型之间保持一致，确保了训练过程的鲁棒性。
• 该算法可与任何专为仅能量训练设计的现有神经网络代码兼容，实现无需框架限制的无缝集成。
• 该方法通过充分利用包含显著多于能量本身信息的力数据，实现了高精度的机器学习势函数。