[论文解读] Statistical methods for resolving poor uncertainty quantification in machine learning interatomic potentials

Emil Annevelink, Venkatasubramanian Viswanathan|arXiv (Cornell University)|Aug 29, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出了一种统计框架，通过理论误差和不确定性分布来确定机器学习势函数（MLIPs）中的最优不确定性截断值。通过将误差和不确定性建模为统计系综，该方法建立了一个数据驱动且可推广的截断值，优于启发式阈值，并实现了使用低成本不确定性方法（如稀疏高斯过程和潜在距离度量）的稳健主动学习，其性能可与基于真实误差的选择方法相媲美。

ABSTRACT

Machine learning interatomic potentials (MLIPs) are promising surrogates for quantum mechanics evaluations in ab-initio molecular dynamics simulations due to their ability to reproduce the energy and force landscape within chemical accuracy at four orders of magnitude less cost. While developing uncertainty quantification (UQ) tools for MLIPs is critical to build production MLIP datasets using active learning, only limited progress has been made and the most robust method, ensembling, still shows low correlation between high error and high uncertainty predictions. Here we develop a rigorous method rooted in statistics for determining an error cutoff that distinguishes regions of high and low UQ performance. The statistical cutoff illuminates that a main cause of the poor UQ performance is due to the machine learning model already describing the entire dataset and not having any datapoints with error greater than the statistical error distribution. Second, we extend the statistical analysis to create an interpretable connection between the error and uncertainty distributions to predict an uncertainty cutoff separating high and low errors. We showcase the statistical cutoff in active learning benchmarks on two datasets of varying chemical complexity for three common UQ methods: ensembling, sparse Gaussian processes, and latent distance metrics and compare them to the true error and random sampling, showing that the statistical cutoff is generalizable to a variety of different UQ methods and protocols and performs similarly to using the true error. Importantly, we conclude that utilizing this uncertainty cutoff enables using significantly lower cost uncertainty quantification tools such as sparse gaussian processes and latent distances compared to ensembling approaches for generating MLIP datasets at a fraction of the cost.

研究动机与目标

• 解决主动学习工作流中MLIPs不确定性截断值缺乏系统性方法的问题。
• 解决不确定性量化（UQ）性能不佳的问题，特别是在集成方法等UQ方法无法将高不确定性与高误差相关联的情况下。
• 基于误差和不确定性的统计分布，开发一种理论基础坚实、可推广的截断值，以区分高误差与低误差预测。
• 通过提供一种独立于模型校准的可靠、可解释的截断值，使计算成本更低的UQ方法（如稀疏高斯过程、潜在距离度量）得以应用。
• 通过基于统计推断将不确定性预测与实际误差分布关联，提升主动学习的鲁棒性。

提出的方法

• 将MLIP预测误差的分布建模为统计系综，假设在独立同分布（i.i.d.）采样下，其服从类似麦克斯韦-玻尔兹曼分布。
• 利用理论误差分布定义一个统计截断值，以区分分布内预测与分布外预测。
• 将相同的统计框架应用于不确定性预测，基于给定不确定性值属于与训练不确定性值相同分布的可能性，定义一个截断值。
• 将统计截断值集成到主动学习流程中，以识别高误差、分布外样本，而无需依赖模型校准。
• 在两个化学复杂度不同的数据集上，对三种UQ方法——集成方法、稀疏高斯过程和潜在距离度量——验证该方法。
• 将统计截断值用作基准，与真实误差和随机采样进行性能比较，证明其通用性与鲁棒性。

实验结果

研究问题

• RQ1 如何定义一个统计上合理的截断值，以在不依赖模型校准的情况下，区分MLIP中的高误差与低误差预测？
• RQ2 为何标准不确定性量化方法（如集成方法）在主动学习中无法将高不确定性与高误差相关联？
• RQ3 基于误差和不确定性分布的统计框架，能否提升多种UQ方法中不确定性截断值的可靠性？
• RQ4 当使用统计截断值时，低计算成本的UQ方法（如稀疏高斯过程）在多大程度上可替代集成方法用于主动学习？
• RQ5 在MLIP数据集整理的主动学习基准中，统计截断值与使用真实误差相比表现如何？

主要发现

• 即使不确定性模型校准不佳，统计截断值仍能成功识别出高误差、分布外样本，优于启发式或随机截断值。
• 该方法揭示，UQ性能不佳的根源通常在于模型已完整描述了训练数据分布，导致训练数据外无高误差样本。
• 使用统计截断值的主动学习性能可与使用真实误差相媲美，证明其作为真实误差代理的合理性。
• 在基准测试中，稀疏高斯过程和潜在距离方法在使用统计截断值时表现最佳，其数据效率和稳定性优于集成方法。
• 统计截断值在不同UQ方法和数据集（包括Li3Mg和LiMg3等复杂体系）中均具有可推广性，对化学复杂性具有鲁棒性。
• 该框架即使在模型校准不佳的情况下，也能可靠地识别高误差点，显著减少生产环境中对昂贵集成方法的需求。