[论文解读] Multilevel CNNs for Parametric PDEs

Cosmas Heiß, Ingo Gühring+1 more|arXiv (Cornell University)|Apr 1, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出多级卷积神经网络（ML-Nets），将多网格求解器与深度学习相结合，以高效求解高维参数化PDE。通过用CNN近似多网格V型循环，该方法实现了与参数维度无关的近似误差界，且网络规模随网格分辨率对数增长，显著优于基准问题上的最先进深度学习求解器，包括高维随机导电率问题与随机曲奇问题。

ABSTRACT

We combine concepts from multilevel solvers for partial differential equations (PDEs) with neural network based deep learning and propose a new methodology for the efficient numerical solution of high-dimensional parametric PDEs. An in-depth theoretical analysis shows that the proposed architecture is able to approximate multigrid V-cycles to arbitrary precision with the number of weights only depending logarithmically on the resolution of the finest mesh. As a consequence, approximation bounds for the solution of parametric PDEs by neural networks that are independent on the (stochastic) parameter dimension can be derived. The performance of the proposed method is illustrated on high-dimensional parametric linear elliptic PDEs that are common benchmark problems in uncertainty quantification. We find substantial improvements over state-of-the-art deep learning-based solvers. As particularly challenging examples, random conductivity with high-dimensional non-affine Gaussian fields in 100 parameter dimensions and a random cookie problem are examined. Due to the multilevel structure of our method, the amount of training samples can be reduced on finer levels, hence significantly lowering the generation time for training data and the training time of our method.

研究动机与目标

• 为解决不确定性量化中高维参数化PDE的计算不可行性，特别是当参数维度较大时。
• 克服传统降模态法与随机配置方法在参数维度增加时性能下降的局限性。
• 开发一种深度学习架构，兼具多网格方法的效率与误差控制能力，同时保持神经网络的表达能力。
• 推导出与随机参数维度无关的神经网络解的近似界。
• 通过利用具有层级依赖采样的多级结构，降低训练数据与时间需求。

提出的方法

• 该方法基于有限元空间的层级结构构建多级架构，每一层对应一个细化的网格离散化。
• 将多网格V型循环建模为下采样、平滑、限制、延拓与校正操作的序列，所有操作均由卷积神经网络近似。
• 网络架构称为ML-Net，通过串联近似各多网格组件的CNN构成：扩散系数下采样、残差校正与延拓算子。
• 理论分析表明，任意多网格V型循环均可由误差界为ε‖f‖*的CNN近似，其中ε控制精度，f为源项。
• 网络参数数量随所需精度的倒数的对数与层级数的平方呈对数增长，确保在高维情况下的效率。
• 该方法利用了在更细层级上校正项所含信息更少的特性，允许在更高层级上减少采样，从而降低数据生成与训练成本。

实验结果

研究问题

• RQ1 能否构建一种深度神经网络架构，以随分辨率有利增长的参数数量，实现对多网格V型循环的任意精度近似？
• RQ2 此类网络能否实现与参数维度无关的参数化PDE解的近似界？
• RQ3 多级结构是否能显著减少高维问题的训练数据与计算时间？
• RQ4 所提出的ML-Net的表达能力与当前最先进的参数化PDE深度学习求解器相比如何？
• RQ5 该网络能否有效处理非仿射、高维的随机场，如100维高斯导电率场？

主要发现

• 所提出的ML-Net架构可将多网格V型循环近似至任意精度ε‖f‖*，网络参数数量按O(L log(1/ε) + L²)缩放，其中L为层级数。
• 该方法实现了与参数维度无关的参数化PDE解的近似误差界，从而可高效求解高维问题。
• 在100维非仿射高斯场随机导电率问题中，该方法在精度与泛化能力上显著优于现有深度学习求解器。
• 在具有挑战性的随机曲奇问题中，由于在更细网格上采用层级依赖采样，该方法在保持高精度的同时显著减少了训练数据与时间。
• 理论分析证实，网络的表达能力足以以最优收敛率表示参数化PDE的解映射。
• 实验结果表明，多级结构显著降低了数据生成时间与训练时长，尤其在细层级上更为明显。