[论文解读] Neural Operators with Localized Integral and Differential Kernels

Miguel Liu-Schiaffini, Julius Berner+4 more|arXiv (Cornell University)|Feb 26, 2024

Neural Networks and Applications被引用 10

一句话总结

论文提出了两种局部神经算子层——微分核和局部积分核——来补充傅里叶神经算子，在Darcy流、Navier–Stokes和球形浅水等任务中提高准确性，同时保持多分辨率适用性。

ABSTRACT

Neural operators learn mappings between function spaces, which is practical for learning solution operators of PDEs and other scientific modeling applications. Among them, the Fourier neural operator (FNO) is a popular architecture that performs global convolutions in the Fourier space. However, such global operations are often prone to over-smoothing and may fail to capture local details. In contrast, convolutional neural networks (CNN) can capture local features but are limited to training and inference at a single resolution. In this work, we present a principled approach to operator learning that can capture local features under two frameworks by learning differential operators and integral operators with locally supported kernels. Specifically, inspired by stencil methods, we prove that we obtain differential operators under an appropriate scaling of the kernel values of CNNs. To obtain local integral operators, we utilize suitable basis representations for the kernels based on discrete-continuous convolutions. Both these approaches preserve the properties of operator learning and, hence, the ability to predict at any resolution. Adding our layers to FNOs significantly improves their performance, reducing the relative L2-error by 34-72% in our experiments, which include a turbulent 2D Navier-Stokes and the spherical shallow water equations.

研究动机与目标

• 动机：需要局部归纳偏差的神经算子以更好地捕捉局部PDE动态。
• 引入两种局部算子层：一阶微分层和局部积分核层。
• 确保这些层收敛于连续的局部算子，并能在通用网格和几何上工作。
• 将局部层与FNO/SFNO架构集成，并在多个PDE基准上展示性能提升。
• 展示结合局部与全局算子在各基准上实现显著的相对L2误差下降。

提出的方法

• 通过将卷积核居中与重新缩放，使网格宽度h -> 0时收敛到一个微分算子，从而导出第一阶微分层。
• 通过离散-连续(DISCO)卷积引入局部积分核层，以在不同分辨率下保持固定感受野并实现通用几何。
• 使用DISCO卷积在李群或流形（如球面）上对局部相关的核参数化，并采用可训练基。
• 将所提出的局部层与现有的傅里叶神经算子( FNO )或球面FNO(SFNO)作为算子层中的额外分支进行组合。
• 在三个PDE问题（Darcy流、环面上的Navier–Stokes、球形浅水）上进行评估，并与U-Net、FNO、SFNO及变体进行对比。

实验结果

研究问题

• RQ1 神经算子是否能在不进行下采样的情况下表示局部PDE算子，并且在不同分辨率上仍具备泛化能力？
• RQ2 局部微分和局部积分核是否能够提高FNO/SFNO在局部支配的PDE上的精度？
• RQ3 全球（傅里叶）与局部（微分和积分）核的组合在平面和球面几何上如何表现？
• RQ4 将所提局部层增强到FNO/SFNO上，在多个基准测试中的量化收益是多少？

主要发现

模型	参数	相对L2-误差	// 层数	// 模式数	嵌入	// 参数	1步	5步
U-Net	17	-	18	2.850e6	1.380e-2	-	-	-
FNO	4	20	41	2.715e6	5.867e-2	-	-	-
FNO + diff. kernel (ours)	4	12	65	2.638e6	7.357e-3	-	-	-
FNO + local integral kernel (ours)	4	20	40	2.617e6	6.034e-2	-	-	-
FNO + local integral + diff. kernel (ours)	4	12	64	2.639e6	9.032e-3	-	-	-
U-Net	17	-	56	2.758e7	1.674e-1	-	-	-
FNO	4	40	65	2.711e7	1.381e-1	-	-	-
FNO + diff. kernel (ours)	4	40	65	2.726e7	1.073e-1	-	-	-
FNO + local integral kernel (ours)	4	20	129	2.716e7	1.110e-1	-	-	-
FNO + local integral + diff. kernel (ours)	4	20	127	2.691e7	9.022e-2	-	-	-
U-Net	17	-	32	2.898e6	1.341e-3	-	-	-
Spherical U-Net (with local integral kernel)	17	-	32	1.639e6	6.160e-4	3.265e-3	-	-
SFNO	4	128	32	1.066e6	9.220e-4	3.185e-3	-	-
SFNO + local integral kernel (ours)	4	128	31	1.019e6	2.624e-4	5.392e-4	-	-

• 用局部微分和/或局部积分核增强FNO/SFNO，在所有测试问题上都实现了相对L2误差的显著降低。
• 最好性能通常来自三者的组合（全局FNO、微分和局部积分核）。
• Darcy流在使用微分核时相对L2误差比单独FNO低多达87%。
• Navier–Stokes和球形浅水显示显著改进，相较于SFNO基线最多降低72%。
• 局部归纳偏置有助于捕捉细粒度尺度，并在不下采样的情况下保持多分辨率适用性。