[论文解读] The Deep Ritz method: A deep learning-based numerical algorithm for solving variational problems

E Weinan, Bing Yu|arXiv (Cornell University)|Sep 30, 2017

Model Reduction and Neural Networks参考文献 9被引用 14

一句话总结

Deep Ritz 方法提出了一种基于深度学习的数值算法，用于求解变分问题，特别是由偏微分方程（PDEs）产生的问题，通过使用深度神经网络表示试函数，并利用随机梯度下降最小化能量泛函。该方法在高维问题中表现出色，包括特征值问题，在无限势阱和谐振子的1D与5D问题中误差均低于1%。

ABSTRACT

We propose a deep learning based method, the Deep Ritz Method, for numerically solving variational problems, particularly the ones that arise from partial differential equations. The Deep Ritz method is naturally nonlinear, naturally adaptive and has the potential to work in rather high dimensions. The framework is quite simple and fits well with the stochastic gradient descent method used in deep learning. We illustrate the method on several problems including some eigenvalue problems.

研究动机与目标

• 开发一种新颖的数值方法，用于求解变分问题，特别是PDEs，利用深度学习。
• 通过利用深度神经网络的复合函数逼近能力，解决传统方法在高维设置下的局限性。
• 创建一个能自然适应问题复杂性并在高维中高效扩展的框架。
• 将Ritz方法与深度学习优化（特别是随机梯度下降SGD）相结合，以实现高效计算。

提出的方法

• 使用深度神经网络 zθ(x) 表示试函数 u(x;θ)，随后进行线性变换：u(x;θ) = a·zθ(x) + b。
• 采用残差网络结构，其中每个模块包含两次线性变换、类似ReLU的激活函数（ϕ(x) = max{x³, 0}），以及跳跃连接以稳定训练。
• 通过蒙特卡洛采样对变分泛函 I(u) 进行离散化，将每个积分点视为随机优化框架中的数据点。
• 采用小批量随机梯度下降（SGD）最小化损失函数 L(θ) = ∫Ω g(x;θ) dx，其中 g(x;θ) 由能量泛函导出。
• 在特征值问题中引入罚项以强制满足归一化约束，如 ∫Ω u²dx = 1，以稳定训练并改善收敛性。
• 在特征值问题中采用密集残差网络结构，使用基于拼接的跳跃连接（受DenseNet启发），以增强梯度流动。

实验结果

研究问题

• RQ1 深度神经网络能否在PDE的变分公式中有效表示试函数？
• RQ2 在传统方法失效的高维问题中，Deep Ritz 方法表现如何？
• RQ3 随机梯度下降能否被有效适配以最小化PDE中非凸的变分能量泛函？
• RQ4 架构选择（如激活函数和跳跃连接）如何影响该方法的精度与稳定性？
• RQ5 在特征值问题中，归一化约束和罚项对收敛性和解质量有何影响？

主要发现

• 在1D无限势阱问题中，Deep Ritz 方法实现了0.20%的误差，精确基态能量 λ₀ = 9.87，近似值为9.85。
• 在5D无限势阱中，方法实现了0.11%的误差，精确 λ₀ = 49.35，近似 λ₀ = 49.29。
• 在10D无限势阱中，误差上升至6.43%，表明随着维度增加性能下降。
• 在1D谐振子中，方法实现了0.16%的误差（精确 λ₀ = 1，近似值为1.0016），在低维中表现出高精度。
• 在5D谐振子中，误差为1.6%，在10D中上升至12.6%，表明误差随维度显著增加。
• 引入归一化罚项（∫u²dx − 1)²）改善了训练稳定性，并允许使用更小的罚系数，从而提升了收敛性。