[论文解读] Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs

Peiyan Hu, Meng Qi+7 more|arXiv (Cornell University)|Apr 13, 2022

Model Reduction and Neural Networks被引用 8

一句话总结

本文提出神经算子正则结构（NORS），一种深度学习框架，将正则结构理论融入以建模具有低正则性噪声的随机偏微分方程（SPDEs）的解。通过将初始条件和噪声投影到源自正则结构的特征向量上，NORS 在保持分辨率不变性能的同时，相比基线模型将误差降低了一个数量级，并减少了样本复杂度。

ABSTRACT

Stochastic partial differential equations (SPDEs) are significant tools for modeling dynamics in many areas including atmospheric sciences and physics. Neural Operators, generations of neural networks with capability of learning maps between infinite-dimensional spaces, are strong tools for solving parametric PDEs. However, they lack the ability to modeling SPDEs which usually have poor regularity due to the driving noise. As the theory of regularity structure has achieved great successes in analyzing SPDEs and provides the concept model feature vectors that well-approximate SPDEs' solutions, we propose the Neural Operator with Regularity Structure (NORS) which incorporates the feature vectors for modeling dynamics driven by SPDEs. We conduct experiments on various of SPDEs including the dynamic Phi41 model and the 2d stochastic Navier-Stokes equation, and the results demonstrate that the NORS is resolution-invariant, efficient, and achieves one order of magnitude lower error with a modest amount of data.

研究动机与目标

• 为解决由 SPDE 引发的动力学建模挑战，其因随机噪声（尤其是时空白噪声）导致正则性差。
• 扩展现有神经算子方法，这些方法假设高正则性，以处理具有不规则解的 SPDEs。
• 通过特征工程，将 SPDE 结构的先验知识——特别是线性微分算子和噪声特性——融入模型中。
• 通过基于正则性的特征向量编码 SPDE 的内在结构，以减少样本复杂度并提升泛化能力。
• 实现分辨率不变的性能，使模型能在不同空间和时间分辨率下实现精确预测。

提出的方法

• NORS 通过将初始条件和时空白噪声投影到源自正则结构理论的基上，构建模型特征向量，从而增强输入表示的正则性。
• 该方法利用正则结构理论中的 Scauder 估计，确保特征向量更平滑，更适合神经算子学习。
• 将这些基于正则性的特征整合进神经算子架构中，保留了标准神经算子的网格不变性和函数空间映射能力。
• 该框架假设线性算子（如拉普拉斯算子）及其关联半群是已知的，从而可基于 SPDE 的核和噪声结构显式构造特征基。
• 模型被训练以学习从初始条件和噪声实现到解轨迹的映射，其中特征向量编码了 SPDE 的微分和随机分量。
• 该架构继承了傅里叶神经算子（FNO）的分辨率不变特性，使模型能在不同网格分辨率下实现精确预测。

实验结果

研究问题

• RQ1 深度学习模型能否有效学习具有低正则性噪声（如时空白噪声）的 SPDE 解映射，而标准神经算子在此类问题上会失效？
• RQ2 如何将 SPDE 的先验结构知识——特别是线性算子和噪声类型——编码进神经网络中，以提升样本效率和泛化能力？
• RQ3 将正则结构理论融入神经算子在多大程度上能降低 SPDE 解学习中的泛化误差？
• RQ4 所提出的方法是否能在不同空间和时间分辨率下保持准确性，以满足科学计算应用的需求？
• RQ5 在训练数据有限的情况下，模型能否泛化到未见过的噪声和初始条件实现？

主要发现

• 在二维随机纳维-斯托克斯方程上，NORS 的 $L^2$ 误差相比基线模型降低了一个数量级，误差从约 0.03 降至约 0.002。
• 在 $\theta \mapsto \omega$ 和 $(\omega_0, \xi) \mapsto \omega$ 设置下，NORS 在使用 1000 个训练样本时，误差相比基线降低了一个数量级。
• 模型在训练于 $16 \times 16$ 网格后，于 $64 \times 64$ 网格上测试时仍保持高精度，证实了其分辨率不变性。
• NORS 展现出更优的样本效率，由于通过基于正则性的特征编码了 SPDE 的结构信息，因此在更少数据下即可实现高精度。
• 该方法成功泛化到未见过的噪声和初始条件实现，表明其泛化能力显著超越训练分布。
• 源自正则结构的特征向量显著提升了模型捕捉 SPDE 不规则动力学的能力，尤其在存在时空白噪声时。