[论文解读] Rademacher Complexity and Numerical Quadrature Analysis of Stable Neural Networks with Applications to Numerical PDEs.

Qingguo Hong, Jonathan W. Siegel+1 more|arXiv (Cornell University)|Apr 7, 2021

Model Reduction and Neural Networks参考文献 31被引用 10

一句话总结

本文通过约束解的 $Σ_1(\mathbb{D})$-范数，为稳定神经网络求解偏微分方程（PDE）的方法提出了一种统一的误差分析，使得能够采用高效的贪心优化而非随机梯度下降。该方法通过 Rademacher 复杂度建立了确定性求积和随机采样下的有界误差，提供了一个整合优化、逼近与泛化的一致框架。

ABSTRACT

Methods for solving PDEs using neural networks have recently become a very important topic. We provide an error analysis for such methods which is based on an a priori constraint on the $\mathcal{K}_1(\mathbb{D})$-norm of the numerical solution. We show that the resulting constrained optimization problem can be efficiently solved using a greedy algorithm, which replaces stochastic gradient descent. Following this, we show that the error arising from discretizing the energy integrals is bounded both in the deterministic case, i.e. when using numerical quadrature, and also in the stochastic case, i.e. when sampling points to approximate the integrals. In the later case, we use a Rademacher complexity analysis, and in the former we use standard numerical quadrature bounds. This extends existing results to methods which use a general dictionary of functions to learn solutions to PDEs and importantly gives a consistent analysis which incorporates the optimization, approximation, and generalization aspects of the problem. In addition, the Rademacher complexity analysis is simplified and generalized, which enables application to a wide range of problems.

研究动机与目标

• 开发一个统一的误差分析框架，将神经网络 PDE 求解器中的优化、逼近与泛化统一起来。
• 通过在解的 $Σ_1(\mathbb{D})$-范数上引入先验约束，弥补现有方法在理论保证方面的不足。
• 用更高效的贪心算法替代随机梯度下降，以求解约束优化问题。
• 在确定性和随机设置下，对能量积分离散化带来的误差进行有界控制。
• 推广并简化 Rademacher 复杂度分析，使其适用于更广泛的 PDE 与函数逼近问题。

提出的方法

• 对神经网络解的 $Σ_1(\mathbb{D})$-范数施加先验约束，以确保稳定性。
• 用贪心算法替代随机梯度下降，以高效求解约束优化问题。
• 应用标准的数值求积误差界，控制能量积分在确定性离散化中的误差。
• 利用 Rademacher 复杂度分析，对随机采样点近似积分时的泛化误差进行有界控制。
• 将 Rademacher 复杂度框架推广，使其更具一般性，适用于广泛的 PDE 与函数逼近问题。
• 将优化、逼近与泛化三个部分整合进一个统一且一致的理论分析框架中。

实验结果

研究问题

• RQ1 对 $Σ_1(\mathbb{D})$-范数施加先验约束，如何提升神经网络 PDE 求解器的稳定性和收敛性？
• RQ2 贪心算法能否有效替代随机梯度下降，用于训练稳定的神经网络 PDE 解？
• RQ3 在使用确定性数值求积时，能量积分离散化的理论误差界是什么？
• RQ4 在使用采样点的随机 PDE 求解器中，Rademacher 复杂度分析如何控制泛化误差？
• RQ5 Rademacher 复杂度框架在多大程度上可以被推广和简化，以适用于基于神经网络的 PDE 求解器？

主要发现

• 通过 $Σ_1(\mathbb{D})$-范数正则化的约束优化问题，可利用贪心算法高效求解，避免依赖随机梯度下降。
• 利用标准数值分析技术，对能量积分在确定性数值求积中的误差进行了有界控制。
• 通过简化并推广的 Rademacher 复杂度分析，对能量积分在随机采样中的误差进行了有界控制。
• 所提出的框架提供了一致的理论分析，统一了神经网络 PDE 求解器中的优化、逼近与泛化。
• 推广后的 Rademacher 复杂度分析使该方法可广泛应用于各类 PDE 与函数逼近问题。