[论文解读] The Parametric Complexity of Operator Learning

Samuel Lanthaler, Andrew M. Stuart|arXiv (Cornell University)|Jun 28, 2023

Model Reduction and Neural Networks被引用 6

一句话总结

本文证明，由于函数空间的无限维性质，通用算子学习方法存在维度灾难问题，对于具有 $C^r$ 或利普希茨正则性的算子，其复杂度呈指数增长。为此，本文提出 HJ-Net，一种新颖的神经算子架构，利用哈密顿-雅可比方程的特性，实现复杂度的代数级增长，从而克服了该类算子的维度灾难问题。

ABSTRACT

Neural operator architectures employ neural networks to approximate operators mapping between Banach spaces of functions; they may be used to accelerate model evaluations via emulation, or to discover models from data. Consequently, the methodology has received increasing attention over recent years, giving rise to the rapidly growing field of operator learning. The first contribution of this paper is to prove that for general classes of operators which are characterized only by their $C^r$- or Lipschitz-regularity, operator learning suffers from a "curse of parametric complexity", which is an infinite-dimensional analogue of the well-known curse of dimensionality encountered in high-dimensional approximation problems. The result is applicable to a wide variety of existing neural operators, including PCA-Net, DeepONet and the FNO.The second contribution of the paper is to prove that this general curse can be overcome for solution operators defined by the Hamilton-Jacobi equation; this is achieved by leveraging additional structure in the underlying solution operator, going beyond regularity. To this end, a novel neural operator architecture is introduced, termed HJ-Net, which explicitly takes into account characteristic information of the underlying Hamiltonian system. Error and complexity estimates are derived for HJ-Net which show that this architecture can provably beat the curse of parametric complexity related to the infinite-dimensional input and output function spaces.

研究动机与目标

• 建立通用神经算子架构在仅基于 $C^r$ 或利普希茨正则性定义的算子逼近时，存在维度灾难问题。
• 识别除正则性之外的结构性质，以实现在无限维函数空间中对算子进行高效逼近。
• 设计并分析一种新的神经算子架构 HJ-Net，用于哈密顿-雅可比方程的解算子。
• 证明 HJ-Net 的复杂度界随误差倒数的代数增长，从而克服一般性的维度灾难。
• 基于特征线法与解的正则性，为 HJ-Net 提供理论误差与复杂度估计。

提出的方法

• 证明仅具有 $C^r$ 或利普希茨正则性的算子，其逼近复杂度的通用下界显示其对误差倒数呈指数依赖。
• 提出 HJ-Net，一种显式编码底层哈密顿系统特征流的神经算子。
• 利用特征线法表示哈密顿-雅可比方程的解，从而实现对解算子的结构化逼近。
• 通过分析在流作用下特征映射点集的填充距离，建立 HJ-Net 的误差界。
• 利用解的短时存在性与正则性保持性，确保映射过程中 $C^r$ 正则性得以维持。
• 推导复杂度估计，显示其相对于误差呈代数级增长，从而证明 HJ 算子不存在维度灾难。

实验结果

研究问题

• RQ1 当仅基于 $C^r$ 或利普希茨正则性定义算子时，通用神经算子架构能否避免维度灾难？
• RQ2 除正则性外，哪些结构性质可被利用以实现在无限维函数空间中的高效逼近？
• RQ3 哈密顿-雅可比方程的解算子能否实现复杂度随误差倒数代数增长的逼近？
• RQ4 特征线法如何实现结构化的神经算子设计，从而克服维度灾难？
• RQ5 对于融合特征动力学的神经算子架构，能否严格推导出其误差与复杂度界？

主要发现

• 对于仅具有 $C^r$ 或利普希茨正则性的算子类，神经算子逼近的复杂度随所需误差倒数呈指数增长，从而确立了普遍存在的维度灾难。
• 所提出的 HJ-Net 架构通过编码哈密顿-雅可比方程的特征流，实现了复杂度界随误差倒数代数增长，从而克服了普遍的维度灾难。
• HJ-Net 逼近的误差被界于 $C(1 + \|f^\dagger\|_{C^r}) h_{Q^\dagger,\Omega}^r$ 之内，其中 $h_{Q^\dagger,\Omega}$ 为采样点的填充距离。
• 特征映射点集 $Q^\dagger_{u_0}$ 的填充距离被统一有界于 $C h_{Q,\Omega}$，确保了在流作用下逼近的稳定性。
• 该方法实现了可证明的误差与复杂度估计，其与误差倒数呈代数级增长，与一般情形下观察到的指数增长形成鲜明对比。
• 理论框架表明，利用几何结构——特别是特征线法——可实现原本因维度灾难而难以处理的算子的高效学习。