[论文解读] Solving Nonlinear and High-Dimensional Partial Differential Equations via Deep Learning

Ali Al-Aradi, Adolfo Correia+3 more|arXiv (Cornell University)|Nov 21, 2018

Model Reduction and Neural Networks被引用 31

一句话总结

本文提出深度伽辽金方法（DGM），一种用于求解非线性和高维偏微分方程（PDEs）的无网格深度学习方法，通过训练深度神经网络以最小化损失函数来满足PDE、初始/终端条件和边界条件。该方法有效缓解了维度灾难问题，并在定量金融领域的各类PDE中表现出色，包括期权定价和平均场博弈论。

ABSTRACT

In this work we apply the Deep Galerkin Method (DGM) described in Sirignano and Spiliopoulos (2018) to solve a number of partial differential equations that arise in quantitative finance applications including option pricing, optimal execution, mean field games, etc. The main idea behind DGM is to represent the unknown function of interest using a deep neural network. A key feature of this approach is the fact that, unlike other commonly used numerical approaches such as finite difference methods, it is mesh-free. As such, it does not suffer (as much as other numerical methods) from the curse of dimensionality associated with highdimensional PDEs and PDE systems. The main goals of this paper are to elucidate the features, capabilities and limitations of DGM by analyzing aspects of its implementation for a number of different PDEs and PDE systems. Additionally, we present: (1) a brief overview of PDEs in quantitative finance along with numerical methods for solving them; (2) a brief overview of deep learning and, in particular, the notion of neural networks; (3) a discussion of the theoretical foundations of DGM with a focus on the justification of why this method is expected to perform well.

研究动机与目标

• 开发一种可扩展的无网格数值方法，用于求解定量金融中出现的高维和非线性PDE。
• 解决传统数值方法（如有限差分法和有限元法）在高维问题中因维度灾难而带来的局限性。
• 研究深度伽辽金方法在不同类型PDE和实际金融应用中的有效性、鲁棒性及实际实现挑战。
• 探索采样策略、先验知识整合和训练时长对DGM性能的影响，为从业者提供实用指导。

提出的方法

• 将PDE的解表示为深度神经网络，通过最小化PDE残差、初始/终端条件违反情况和边界条件误差来训练网络参数。
• 在PDE的定义域上使用随机采样生成损失计算的训练数据点，避免使用结构化网格，从而实现无网格计算。
• 通过随机梯度下降训练神经网络，最小化一个复合损失函数，该函数结合了PDE残差、初始/终端条件违反和边界条件误差。
• 将关于解的先验知识（如已知的渐近行为或对称性）融入网络架构或损失函数中，以提升收敛速度和精度。
• 在训练过程中应用重采样技术，以保持对域的均衡覆盖，特别是在PDE残差较高的区域。
• 在CPU和GPU上进行训练性能基准测试，以评估硬件敏感性与可扩展性，尤其针对更深更宽的网络架构。

实验结果

研究问题

• RQ1 在定义域上选择不同的采样分布如何影响深度伽辽金方法的精度和收敛性？
• RQ2 对解结构的先验知识在多大程度上能提升DGM在求解复杂PDE时的性能和稳定性？
• RQ3 训练时长如何影响DGM的最终精度？计算成本与解质量之间存在何种权衡？
• RQ4 DGM能否在不同类别的PDE之间实现泛化？哪些网络架构或训练调整可增强其元泛化能力？
• RQ5 DGM的性能如何随网络深度和宽度变化？硬件（CPU与GPU）在训练效率中起到何种作用？

主要发现

• 深度伽辽金方法能有效求解高维和非线性PDE，包括布莱克-斯科尔斯方程、福克-普朗克方程和平均场博弈论问题，且精度较高。
• 采样策略是影响DGM性能的最关键因素：仅使用随机采样效果不足，而基于领域感知的采样能显著提升解的精度。
• 将关于解的先验知识（如已知的边界行为或对称性）融入方法中，可实现更快的收敛速度和更优的结果。
• 训练时间对性能有显著影响：更长的训练时间可获得更优解，表明DGM从更长的优化过程中受益。
• 对于小型网络，由于DGM计算图中并行化机会有限，GPU训练可能比CPU更慢；但当网络更深更宽时，这一趋势反转。
• 对于较大网络，DGM在GPU上表现出明显性能优势，随着网络复杂度增加，训练时间显著减少。