[论文解读] Reliable extrapolation of deep neural operators informed by physics or sparse observations

Min Zhu, Handi Zhang+3 more|arXiv (Cornell University)|Dec 13, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出一种框架，通过微调或多保真度学习整合物理定律或稀疏观测，实现深度神经算子（如DeepONet）的可靠外推。该框架引入基于Wasserstein距离的外推复杂度度量，并证明物理信息或观测信息方法在多个参数化PDE中显著降低分布外误差，关键基准测试中的误差低于10^{-6}。

ABSTRACT

Deep neural operators can learn nonlinear mappings between infinite-dimensional function spaces via deep neural networks. As promising surrogate solvers of partial differential equations (PDEs) for real-time prediction, deep neural operators such as deep operator networks (DeepONets) provide a new simulation paradigm in science and engineering. Pure data-driven neural operators and deep learning models, in general, are usually limited to interpolation scenarios, where new predictions utilize inputs within the support of the training set. However, in the inference stage of real-world applications, the input may lie outside the support, i.e., extrapolation is required, which may result to large errors and unavoidable failure of deep learning models. Here, we address this challenge of extrapolation for deep neural operators. First, we systematically investigate the extrapolation behavior of DeepONets by quantifying the extrapolation complexity via the 2-Wasserstein distance between two function spaces and propose a new behavior of bias-variance trade-off for extrapolation with respect to model capacity. Subsequently, we develop a complete workflow, including extrapolation determination, and we propose five reliable learning methods that guarantee a safe prediction under extrapolation by requiring additional information -- the governing PDEs of the system or sparse new observations. The proposed methods are based on either fine-tuning a pre-trained DeepONet or multifidelity learning. We demonstrate the effectiveness of the proposed framework for various types of parametric PDEs. Our systematic comparisons provide practical guidelines for selecting a proper extrapolation method depending on the available information, desired accuracy, and required inference speed.

研究动机与目标

• 解决深度神经算子在训练分布外外推时的关键局限性，标准模型因高误差而失效。
• 通过使用输入函数空间之间的2-Wasserstein距离量化外推复杂度，系统分析DeepONet的外推行为。
• 构建外推的偏差-方差权衡框架，将模型容量与分布外输入下的泛化能力关联。
• 提出五种可靠的训练方法（基于微调或多保真度学习），确保输入超出训练支持范围时预测安全。
• 提供实用指南，根据可用数据、所需精度和推理速度选择最优方法。

提出的方法

• 使用输入函数空间（如相关长度为l的高斯随机场）与测试分布之间的2-Wasserstein距离量化外推复杂度。
• 提出一种新颖的外推偏差-方差权衡分析，表明模型容量必须仔细平衡，以避免在分布外情形下过拟合或欠拟合。
• 开发一种微调策略，通过在预训练DeepONet中添加物理信息损失，将控制PDE作为归纳偏置。
• 实现多保真度高斯过程回归（MFGPR），结合低保真度和高保真度数据，核函数选择（如Matern）根据问题特定的光滑性进行调整。
• 应用逐层局部自适应激活函数（L-LAAF），提升主干网络和分支网络的表征能力与泛化性能。
• 采用混合训练策略：先在输入分布上预训练DeepONet，再通过PDE约束或稀疏观测进行微调，以提升外推性能。

实验结果

研究问题

• RQ1 函数空间之间的2-Wasserstein距离如何量化DeepONet中外推的复杂度？
• RQ2 外推中的偏差-方差权衡本质为何？模型容量如何影响分布外输入下的泛化能力？
• RQ3 基于物理信息的微调或基于稀疏观测的自适应是否能可靠提升DeepONet的外推性能？
• RQ4 当高保真度数据有限时，多保真度学习与MFGPR在提升外推鲁棒性方面如何比较？
• RQ5 在多样化PDE中实现可靠外推的最优超参数（如学习率、核类型、缩放因子）是什么？

主要发现

• 2-Wasserstein距离提供了外推复杂度的定量度量，表明训练与测试输入分布之间距离越大，预测误差越高。
• 通过物理约束微调，抗导数算子的L²相对误差降至10^{-6}以下，其他PDE的误差降至10^{-5}以下，即使高保真度数据有限。
• FT-Obs-T方法结合微调与稀疏观测，在不同观测数量和相关长度下均表现稳定，最优λ值通过经验确定。
• 在顶盖驱动流问题中，使用Matern核（ν=1.5）的多保真度高斯过程回归（MFGPR）显著优于RBF核，误差降低数个数量级。
• 经调优缩放因子（如tanh的n=2，SiLU的n=10等）的逐层局部自适应激活函数（L-LAAF）可提升复杂PDE的泛化能力并降低外推误差。
• 系统性比较表明，物理信息微调与多保真度学习是最可靠的外推方法，其性能取决于数据可用性与精度要求。