[论文解读] Neural Networks for Constitutive Modeling -- From Universal Function Approximators to Advanced Models and the Integration of Physics

Johannes Dornheim, Lukas Morand+2 more|arXiv (Cornell University)|Feb 28, 2023

Drilling and Well EngineeringEngineering被引用 3

一句话总结

本文综述了材料科学中基于神经网络的本构建模方法，将方法分类为通用函数逼近器至物理融合模型。文章指出，机器学习使复杂材料行为的快速、高精度代理模型成为可能，同时通过物理约束和先进架构解决外推、可解释性和误差累积等挑战。

ABSTRACT

Analyzing and modeling the constitutive behavior of materials is a core area in materials sciences and a prerequisite for conducting numerical simulations in which the material behavior plays a central role. Constitutive models have been developed since the beginning of the 19th century and are still under constant development. Besides physics-motivated and phenomenological models, during the last decades, the field of constitutive modeling was enriched by the development of machine learning-based constitutive models, especially by using neural networks. The latter is the focus of the present review, which aims to give an overview of neural networks-based constitutive models from a methodical perspective. The review summarizes and compares numerous conceptually different neural networks-based approaches for constitutive modeling including neural networks used as universal function approximators, advanced neural network models and neural network approaches with integrated physical knowledge. The upcoming of these methods is in-turn closely related to advances in the area of computer sciences, what further adds a chronological aspect to this review. We conclude this review paper with important challenges in the field of learning constitutive relations that need to be tackled in the near future.

研究动机与目标

• 提供一份全面且以方法为导向的材料科学中基于神经网络的本构建模综述。
• 对不同类型的神经网络方法进行分类与比较，包括通用逼近器、先进神经网络架构以及物理融合模型。
• 识别并讨论学习本构关系中的关键挑战，如外推、可解释性和误差累积。
• 突出展示方法随时间的演变历程，同时与机器学习的发展并行，包括卷积神经网络（CNNs）、循环神经网络（RNNs）和变换器（transformers）的进展。
• 倡导在商业仿真软件中标准化集成机器学习技术，以加速跨学科应用。

提出的方法

• 将神经网络方法分为三大类：通用函数逼近器、先进神经网络模型（如RNNs、CNNs、transformers）以及物理融合模型。
• 综述训练方法，包括使用实验数据和虚拟测试技术的直接与间接训练方法。
• 强调将热力学一致性、凸性及单调性等物理约束整合进神经网络架构中，以提升泛化能力与可靠性。
• 讨论正则化技术与损失函数，通过嵌入平衡定律和熵不等式等物理定律来引导模型学习。
• 分析注意力机制与变换器架构在建模具有长程依赖关系的时序变形历史方面的应用。
• 提出将数据驱动学习与物理先验相结合，可显著增强模型鲁棒性，尤其在处理外推与误差传播方面。

Figure 1: Number of annual publications (articles, preprints, chapters or proceedings) that contain the combination of the following keywords within the title or the abstract: constitutive and machine learning, constitutive and neural network, material model and neural network, material model and ma

实验结果

研究问题

• RQ1 神经网络如何作为本构建模中的通用函数逼近器？其局限性是什么？
• RQ2 使用先进神经网络架构（如RNNs、CNNs、transformers）建模时间依赖与历史依赖材料行为的优势与挑战是什么？
• RQ3 如何将热力学一致性、凸性与单调性等物理约束嵌入神经网络模型中，以提升泛化能力与可靠性？
• RQ4 在学习得到的本构模型中，外推、可解释性与误差累积的关键挑战是什么？如何应对？
• RQ5 如何有效将机器学习模型集成到商业仿真软件中，以加速其在工程应用中的采纳？

主要发现

• 神经网络可有效逼近任意连续的本构关系，从而为复杂非线性材料行为构建快速代理模型。
• 物理信息神经网络通过在损失函数中嵌入热力学一致性与物理约束，显著提升了模型可靠性。
• 如transformers等先进架构在建模时序变形数据方面展现出潜力，能比RNNs更有效地捕捉长程依赖关系。
• 通过在训练过程中引入正则化与物理约束，可有效缓解增量模拟中的误差累积问题。
• 当物理知识被整合进神经网络模型时，其可解释性得到提升，从而减轻了深度学习在材料建模中“黑箱”特性的影响。
• 尽管已有进展，外推能力、模型评估与计算成本仍是阻碍其在工业环境中广泛采用的关键障碍。

Figure 2: Methodical spectrum of named constitutive modeling approaches and an outline of the central trade off of these models