[论文解读] Solving High-Dimensional PDEs with Latent Spectral Models

Haixu Wu, Tengge Hu+3 more|arXiv (Cornell University)|Jan 30, 2023

Model Reduction and Neural Networks被引用 13

一句话总结

LSM 引入一个潜在空间、基于注意力的投影框架以及神经谱块，以更高效、准确地求解高维偏微分方程，在七个基准测试中实现了最先进的结果。

ABSTRACT

Deep models have achieved impressive progress in solving partial differential equations (PDEs). A burgeoning paradigm is learning neural operators to approximate the input-output mappings of PDEs. While previous deep models have explored the multiscale architectures and various operator designs, they are limited to learning the operators as a whole in the coordinate space. In real physical science problems, PDEs are complex coupled equations with numerical solvers relying on discretization into high-dimensional coordinate space, which cannot be precisely approximated by a single operator nor efficiently learned due to the curse of dimensionality. We present Latent Spectral Models (LSM) toward an efficient and precise solver for high-dimensional PDEs. Going beyond the coordinate space, LSM enables an attention-based hierarchical projection network to reduce the high-dimensional data into a compact latent space in linear time. Inspired by classical spectral methods in numerical analysis, we design a neural spectral block to solve PDEs in the latent space that approximates complex input-output mappings via learning multiple basis operators, enjoying nice theoretical guarantees for convergence and approximation. Experimentally, LSM achieves consistent state-of-the-art and yields a relative gain of 11.5% averaged on seven benchmarks covering both solid and fluid physics. Code is available at https://github.com/thuml/Latent-Spectral-Models.

研究动机与目标

• 推动在坐标空间运算符之外高效解决高维PDE。
• 提出一种潜在空间投影方法以消除冗余并实现线性时间复杂度处理。
• 引入神经谱块，将复杂映射分解为多个基算子并给出收敛保证。
• 在固体与流体PDE基准上展示最前沿的性能，并展示可迁移性。

提出的方法

• 使用基于注意力的潜在标记将高维输入映射到紧凑潜在空间的分层投影网络（CoordToLatent）。
• 将潜在空间算子分解为多个基算子（正弦/余弦基）并具备可学习权重的神经谱块（Solve）。
• 潜在到坐标投影（LatentToCoord），将潜在输出映射回原始坐标空间。
• 分块化多尺度架构以处理空间异质性，并实现相对于坐标的线性时间计算。
• 理论保证：在高维中对三角逼近的收敛性以及在 Lipschitz 条件下的神经谱块逼近性。

实验结果

研究问题

• RQ1 是否可以在紧凑的潜在空间中有效解决受PDE支配的任务，而不是在高维坐标空间中？
• RQ2 将多个基算子聚合的神经谱块是否能为复杂的PDE映射提供可靠的近似与收敛性保证？
• RQ3 分层的、基于注意力的投影网络在几何形状和离散化方式各异的多种PDE基准上表现如何？
• RQ4 在固体与流体物理领域，相对于最先进的算子学习PDE求解器，经验上在精度和效率方面有哪些提升？

主要发现

模型	弹性-P	弹性-G	塑性	纳维-斯托克斯	Darcy	翼型	管道
LSM	0.0218	0.0408	0.0025	0.1535	0.0065	0.0059	0.0050

• LSM 在涵盖固体和流体 PDE 的七个基准上实现了最先进的性能。
• 平均而言，LSM 相对于以往最佳模型在各基准上将误差降低了 11.5%。
• 消融研究显示每个组件（潜在投影、多尺度设计、分块、神经谱块）对性能有贡献，其中潜在空间投影是必不可少的。
• 神经谱块通过聚合多个基算子提供改进的近似，在输入输出映射异质的任务（如 Elasticity-G、Darcy）上取得显著提升。