[论文解读] Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks

Longze Li, Jiang Chang+4 more|arXiv (Cornell University)|Nov 4, 2023

Machine Learning in Materials Science参考文献 54被引用 4

一句话总结

该论文提出了一种物理信息贝叶斯神经网络（BNN）框架，用于多变量材料性能回归中的不确定性量化（UQ），特别针对钢合金的蠕变断裂寿命。通过利用马尔可夫链蒙特卡洛（MCMC）后验近似方法将物理定律整合到BNN中，该方法在三个蠕变试验数据集上的实验验证表明，其不确定性估计比变分推断或高斯过程回归更为可靠，且性能具有竞争力或更优。

ABSTRACT

With the increased use of data-driven approaches and machine learning-based methods in material science, the importance of reliable uncertainty quantification (UQ) of the predicted variables for informed decision-making cannot be overstated. UQ in material property prediction poses unique challenges, including the multi-scale and multi-physics nature of advanced materials, intricate interactions between numerous factors, limited availability of large curated datasets for model training, etc. Recently, Bayesian Neural Networks (BNNs) have emerged as a promising approach for UQ, offering a probabilistic framework for capturing uncertainties within neural networks. In this work, we introduce an approach for UQ within physics-informed BNNs, which integrates knowledge from governing laws in material modeling to guide the models toward physically consistent predictions. To evaluate the effectiveness of this approach, we present case studies for predicting the creep rupture life of steel alloys. Experimental validation with three datasets of collected measurements from creep tests demonstrates the ability of BNNs to produce accurate point and uncertainty estimates that are competitive or exceed the performance of the conventional method of Gaussian Process Regression. Similarly, we evaluated the suitability of BNNs for UQ in an active learning application and reported competitive performance. The most promising framework for creep life prediction is BNNs based on Markov Chain Monte Carlo approximation of the posterior distribution of network parameters, as it provided more reliable results in comparison to BNNs based on variational inference approximation or related NNs with probabilistic outputs. The codes are available at: https://github.com/avakanski/Creep-uncertainty-quantification.

研究动机与目标

• 为解决由于数据有限和多尺度相互作用复杂而导致的材料性能预测中可靠不确定性量化（UQ）的挑战。
• 将材料建模中的物理定律整合到贝叶斯神经网络中，以提高预测的一致性和可靠性。
• 评估不同BNN推断方法（特别是MCMC与变分推断）在多变量回归任务中进行UQ的性能表现。
• 通过实验数据集展示该框架在主动学习和真实世界蠕变断裂寿命预测中的有效性。

提出的方法

• 该框架采用贝叶斯神经网络（BNNs）来建模预测均值和不确定性，通过网络参数的概率权重分布实现。
• 将材料科学中控制方程的物理约束嵌入BNN架构中，以确保预测结果保持物理一致性。
• 对比两种推断策略：使用马尔可夫链蒙特卡洛（MCMC）进行精确后验近似，以及使用变分推断进行快速近似推断。
• 在三个钢合金的实验蠕变试验数据集上进行模型训练，不确定性估计与真实测量值进行对比评估。
• 利用概率输出生成预测分布，从而实现点估计和可信区间的不确定性量化。
• 通过不确定性估计应用主动学习以指导数据采集，展示了该框架在数据稀缺场景下的实用性。

实验结果

研究问题

• RQ1 物理信息贝叶斯神经网络是否能在多变量材料性能预测中提供比传统方法更可靠的不确定性估计？
• RQ2 在材料性能数据上，基于MCMC的BNN后验近似与变分推断相比，在预测准确性和不确定性校准方面表现如何？
• RQ3 在数据有限的材料科学应用中，将物理定律整合到BNN中在多大程度上能提升预测的一致性和可靠性？
• RQ4 所提出的BNN框架能否通过不确定性估计有效支持主动学习，识别出具有信息量的数据点？

主要发现

• 基于MCMC的BNN框架产生的不确定性估计比基于变分推断的BNN或具有概率输出的标准神经网络更为可靠。
• 在三个独立的蠕变试验数据集上，MCMC-BNN的预测性能与高斯过程回归（一种UQ基准方法）相当或更优。
• 将物理定律整合到BNN架构中显著提高了预测的一致性，并减少了物理上不合理的输出。
• 在主动学习应用中，MCMC-BNN的不确定性估计有效指导了数据选择，展示了其在数据高效模型训练中的实用性。
• 采用MCMC推断的BNN在不确定性区间校准方面表现更优，其预测区间覆盖了更高比例的真实值，优于其他方法。
• 该框架的代码已公开，支持可复现性，并可推广至其他材料性能预测任务。