[论文解读] Out-of-distributional risk bounds for neural operators with applications to the Helmholtz equation

Jose Antonio Lara Benitez, Takashi Furuya+4 more|arXiv (Cornell University)|Jan 27, 2023

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种随机深度增强的神经算子（sNO+εI），以提升求解Helmholtz方程时的泛化能力，特别是在高频和分布外（out-of-distribution）条件下。通过集成随机深度与超网络代理模型，该模型在性能上优于标准神经算子，且理论分析表明随机深度可降低Rademacher复杂度，并与分布外风险建立关联。

ABSTRACT

Despite their remarkable success in approximating a wide range of operators defined by PDEs, existing neural operators (NOs) do not necessarily perform well for all physics problems. We focus here on high-frequency waves to highlight possible shortcomings. To resolve these, we propose a subfamily of NOs enabling an enhanced empirical approximation of the nonlinear operator mapping wave speed to solution, or boundary values for the Helmholtz equation on a bounded domain. The latter operator is commonly referred to as the ''forward'' operator in the study of inverse problems. Our methodology draws inspiration from transformers and techniques such as stochastic depth. Our experiments reveal certain surprises in the generalization and the relevance of introducing stochastic depth. Our NOs show superior performance as compared with standard NOs, not only for testing within the training distribution but also for out-of-distribution scenarios. To delve into this observation, we offer an in-depth analysis of the Rademacher complexity associated with our modified models and prove an upper bound tied to their stochastic depth that existing NOs do not satisfy. Furthermore, we obtain a novel out-of-distribution risk bound tailored to Gaussian measures on Banach spaces, again relating stochastic depth with the bound. We conclude by proposing a hypernetwork version of the subfamily of NOs as a surrogate model for the mentioned forward operator.

研究动机与目标

• 为解决标准神经算子在高频波问题中泛化能力差的问题，特别是针对Helmholtz方程。
• 在不增加模型参数量的前提下，提升分布外泛化性能。
• 利用随机深度建立泛化误差与分布外风险的理论边界。
• 为反问题中的前向算子开发基于超网络的代理模型。

提出的方法

• 提出一种改进的神经算子架构，通过伯努利随机变量Xℓ ∼ Ber(pℓ)实现随机深度，控制层的激活。
• 采用类似残差的结构：vℓ+1 = (Id + Xℓfℓ∘N) ∘ (Id + Xℓσ∘(Kℓ + bℓ)∘N) ∘ vℓ，实现动态信息流动。
• 使用归一化器N与恒等跳跃连接，以稳定训练并提升表达能力。
• 推导出Rademacher复杂度边界，表明随机深度可控制假设类的复杂度。
• 为Banach空间上高斯测度下的神经算子建立新颖的分布外风险边界，明确将其与随机深度参数关联。
• 提出sNO+εI的超网络变体，作为反问题中前向算子的代理模型。

实验结果

研究问题

• RQ1 随机深度能否在分布内性能之外，提升神经算子在高频Helmholtz问题中的泛化能力？
• RQ2 随机深度如何影响神经算子模型的Rademacher复杂度？
• RQ3 能否为Banach空间上高斯测度下的神经算子推导出分布外风险的理论边界？
• RQ4 所提出的sNO+εI架构是否在降低泛化误差的同时保持或提升近似精度？
• RQ5 sNO+εI模型能否作为反问题中前向算子的有效代理？

主要发现

• sNO+εI模型在高频Helmholtz问题的分布内与分布外设置下，均优于标准神经算子。
• 理论分析表明，随机深度可控制Rademacher复杂度，从而实现比标准NO更紧致的泛化误差边界。
• 为Banach空间上高斯测度下的分布外风险推导出上界，明确将其与随机深度概率pℓ的衰减关联。
• 当∑ℓ xℓ < ∞时，泛化边界中的无穷乘积收敛，确保深层网络的稳定性。
• 实证结果证实模型对波速变化具有鲁棒性，表明其在分布偏移下具备强泛化能力。
• sNO+εI的超网络版本可作为前向算子的有效代理，支持贝叶斯反演与无导数优化等应用。