[论文解读] Multiwavelet-based Operator Learning for Differential Equations

Gaurav Gupta, Xiongye Xiao+1 more|arXiv (Cornell University)|Sep 28, 2021

Image and Signal Denoising Methods参考文献 61被引用 67

一句话总结

引入基于多小波的神经算子，将偏微分方程算子的核压缩到固定的多小波基上，在 KdV、 Burgers、 Darcy 流动和 Navier–Stokes 方程中实现高精度与分辨率无关性。

ABSTRACT

The solution of a partial differential equation can be obtained by computing the inverse operator map between the input and the solution space. Towards this end, we introduce a extit{multiwavelet-based neural operator learning scheme} that compresses the associated operator's kernel using fine-grained wavelets. By explicitly embedding the inverse multiwavelet filters, we learn the projection of the kernel onto fixed multiwavelet polynomial bases. The projected kernel is trained at multiple scales derived from using repeated computation of multiwavelet transform. This allows learning the complex dependencies at various scales and results in a resolution-independent scheme. Compare to the prior works, we exploit the fundamental properties of the operator's kernel which enable numerically efficient representation. We perform experiments on the Korteweg-de Vries (KdV) equation, Burgers' equation, Darcy Flow, and Navier-Stokes equation. Compared with the existing neural operator approaches, our model shows significantly higher accuracy and achieves state-of-the-art in a range of datasets. For the time-varying equations, the proposed method exhibits a ($2X-10X$) improvement ($0.0018$ ($0.0033$) relative $L2$ error for Burgers' (KdV) equation). By learning the mappings between function spaces, the proposed method has the ability to find the solution of a high-resolution input after learning from lower-resolution data.

研究动机与目标

• 通过利用核性质来推动 PDE 运算子的数据高效学习。
• 开发基于多小波的表示来稀疏化并将算子核投影到固定基上。
• 创建可扩展且分辨率独立的神经算子体系结构，利用多小波变换。
• 展示在一维和二维 PDE 以及不同输入分辨率下的鲁棒性与泛化能力。

提出的方法

• 通过具有非均匀测度的多小波变换对核进行建模，以处理任意基。
• 使用非标准多小波表示来解耦尺度并降低模型复杂度。
• 实现一个两部分的 MWT 架构，包含 Decomposition (dec) 与 Reconstruction (rec) 模块。
• 训练四个神经网络 A、B、C，和 T（barT），以近似跨尺度的非标准核项。
• 利用固定的多小波滤波器 H 和 G 在尺度之间执行前向/后向变换。
• 通过在不同输入尺寸之间重用学习到的核来证明分辨率无关性。

实验结果

研究问题

• RQ1 基于多小波的核表示能否为 PDE 提供数据高效、便于压缩的算子学习？
• RQ2 固定的多小波滤波器是否能实现跨分辨率的尺度学习并具泛化性？
• RQ3 与最先进的神经算子在标准 PDE 基准测试上的表现相比，MWT 模型表现如何？
• RQ4 该方法对输入波动是否鲁棒，且是否适用于高维问题？
• RQ5 低分辨率下的学习能否推广到高分辨率输出？

主要发现

• MWT Leg 和 MWT Chb 在 KdV、Burgers、 Darcy 和 Navier–Stokes 基准测试中实现最低的相对 L2 误差，优于 FNO、MGNO、LNO 和 GNO。
• 对于随时间变化的方程，该方法在相对 L2 误差方面实现了 2X–10X 的提升（例如 Burgers 和 KdV 的 0.0018 对 0.0033）。
• 该模型对输入波动强度具有鲁棒性，并能在较低分辨率的训练数据下工作，同时对更高分辨率具有泛化能力。
• 使用固定的多小波滤波器至关重要；随机滤波器会显著降低性能（MWT Rnd 表现较差）。
• 该方法验证了伪微分算子的理论属性，并在多小波域中利用了核稀疏性。
• 该方法扩展到二维 Darcy 流动，可以在粗分辨率下学习并预测细尺度输出；显示出在不重新训练的情况下实现高分辨率预测的潜力。