[论文解读] Wavelet neural operator: a neural operator for parametric partial differential equations

Tapas Tripura, Souvik Chakraborty|arXiv (Cornell University)|May 4, 2022

Meteorological Phenomena and Simulations被引用 33

一句话总结

提出 Wavelet Neural Operator (WNO)，一种基于小波的神经算子，学习无限维函数空间之间的映射以求解参数化偏微分方程，在 Burgers、Darcy、Navier–Stokes、Allen–Cahn、以及波动对流等问题，以及一个气候/数字孪生应用中得到验证。

ABSTRACT

With massive advancements in sensor technologies and Internet-of-things, we now have access to terabytes of historical data; however, there is a lack of clarity in how to best exploit the data to predict future events. One possible alternative in this context is to utilize operator learning algorithm that directly learn nonlinear mapping between two functional spaces; this facilitates real-time prediction of naturally arising complex evolutionary dynamics. In this work, we introduce a novel operator learning algorithm referred to as the Wavelet Neural Operator (WNO) that blends integral kernel with wavelet transformation. WNO harnesses the superiority of the wavelets in time-frequency localization of the functions and enables accurate tracking of patterns in spatial domain and effective learning of the functional mappings. Since the wavelets are localized in both time/space and frequency, WNO can provide high spatial and frequency resolution. This offers learning of the finer details of the parametric dependencies in the solution for complex problems. The efficacy and robustness of the proposed WNO are illustrated on a wide array of problems involving Burger's equation, Darcy flow, Navier-Stokes equation, Allen-Cahn equation, and Wave advection equation. Comparative study with respect to existing operator learning frameworks are presented. Finally, the proposed approach is used to build a digital twin capable of predicting Earth's air temperature based on available historical data.

研究动机与目标

• 激励学习在无限维函数空间之间映射的算子，以实现对不同 PDE 参数的单次预测。
• 开发基于小波的神经算子，结合核学习与时频局部化，以实现高空间和频率分辨率。
• 在多种 PDE（Burgers、Darcy、Navier–Stokes、Allen–Cahn、波动对流）上演示 WNO，并与现有神经算子进行比较。
• 展示一个数字孪生应用，使用 WNO 根据历史数据预测地球 2m 高度的气温。

提出的方法

• 通过局部变换 P(a(x)) 将输入提升到更高维空间。
• 迭代更新 v_{j+1}(x) = g((K(a;φ)*v_j)(x) + W v_j(x)) 进行 l 步，其中 K 是一个用神经网络参数化的积分核。
• 计算小波核积分：执行多层小波分解，与学习得到的权重卷积，并进行逆变换回到原始空间。
• 使用局部变换 Q(v_l(x)) 将其映射回解空间 u(x)。
• 通过最小化 D(a) 与 D(a, θ) 之间的损失 L 进行训练，使用上述标准超参数的 Adam。

实验结果

研究问题

• RQ1 基于小波的神经算子是否能够学习将一族 PDE 的无限维函数空间映射到非线性算子？
• RQ2 在标准 PDE 基准测试和气候数字孪生任务中，WNO 与 DeepONet、GNO、FNO 和 MWT 的比较如何？
• RQ3 小波方法在保持离散不变性的同时，是否改善对不连续性和复杂几何的处理？

主要发现

PDE	GNO	DeepONet	FNO	MWT	POD-DeepONet	dgFNO+	WNO
Burgers’ equation	~6.15 %	~2.15 %	~1.60 %	~0.19 %	~1.94 %	-	~1.75 %
Darcy (rectangular)	~3.46 %	~2.98 %	~1.08 %	~0.89 %	~2.38%	-	~0.84 %
Darcy (triangular)	-	~2.64 %	-	~0.87 %	~1.00 %	~7.82%	~0.77 %
Navier–Stokes equation	-	~1.78 %	~1.28 %	~0.63 %	~1.71 %	-	~0.31 %
Allen-Cahn	-	~17.7 %	~0.93 %	~4.84 %	-	-	~0.21 %
Wave-advection	-	~0.32 %	~47.7 %	~10.22 %	~0.40 %	~0.62 %	~0.62 %

• WNO 在六个问题上实现的平均相对 L2 误差范围为 0.21% 到 1.75%，通常与竞争算子相当或甚至超越它们。
• 在 Burgers 方程中，WNO 的误差为 1.75%（在某些比较中是最优，但 MWT 和 FNO 在某些设定下可能稍好）。
• 对于二维 Darcy 流动（矩形和带缺口的三角形），WNO 产生的预测误差在列出的方法中最低。
• 对于 Navier–Stokes 和 Allen–Cahn 问题，WNO 获得非常低的误差（在 Allen–Cahn 中低至 ~0.21%）。
• WNO 可扩展到 2D 波动对流和气候/天气预测任务，包括一个 2°×2° 地球温度数字孪生，周预测误差接近 1%。