[论文解读] PyDEns: a Python Framework for Solving Differential Equations with Neural Networks

Alexander Koryagin, Roman Khudorozhkov+1 more|arXiv (Cornell University)|Sep 25, 2019

Model Reduction and Neural Networks参考文献 8被引用 30

一句话总结

PyDEns 是一个 Python 框架，通过灵活的架构选择、可自定义的采样方案以及与深度学习工作流的无缝集成，使使用神经网络求解偏微分方程（PDEs）成为可能。它通过自动微分自动计算损失，提供高层 API 以定义 PDE、初始/边界条件及训练配置，显著降低了物理信息神经网络实验的门槛。

ABSTRACT

Recently, a lot of papers proposed to use neural networks to approximately solve partial differential equations (PDEs). Yet, there has been a lack of flexible framework for convenient experimentation. In an attempt to fill the gap, we introduce a PyDEns-module open-sourced on GitHub. Coupled with capabilities of BatchFlow, open-source framework for convenient and reproducible deep learning, PyDEns-module allows to 1) solve partial differential equations from a large family, including heat equation and wave equation 2) easily search for the best neural-network architecture among the zoo, that includes ResNet and DenseNet 3) fully control the process of model-training by testing different point-sampling schemes. With that in mind, our main contribution goes as follows: implementation of a ready-to-use and open-source numerical solver of PDEs of a novel format, based on neural networks.

研究动机与目标

• 解决现有用于实验神经网络基 PDE 求解器的灵活且用户友好的框架不足的问题。
• 使研究人员能够以极少代码轻松定义复杂 PDE 问题，包括时间依赖型和高维方程。
• 为神经网络架构选择提供完全控制，从预定义模型（如 ResNet 和 DenseNet）到自定义架构。
• 支持对域、边界和初始条件区域的可自定义点采样策略，以提高训练效率和准确性。
• 通过与 BatchFlow 深度学习框架的集成，促进物理信息神经网络的可重现性和可扩展训练。

提出的方法

• 该框架通过将 PDE 解表述为最小化包含残差误差、边界条件和初始条件的损失函数的神经网络，实现深度伽辽金方法。
• 损失分量通过自动微分计算，以处理高阶导数，避免了梯度的手动推导。
• 该框架支持模块化架构，用户可通过指定方程形式、右侧项以及初始/边界条件的字典来定义 PDE。
• 神经网络架构通过一种人类可读的布局语言定义，支持全连接层、残差连接和激活函数。
• 点采样通过采样器代数管理，允许对概率分布（如均匀分布、正态分布、指数分布）进行混合与乘积操作，用于域、边界和初始条件区域。
• 训练通过小批量随机梯度下降执行，损失在这些小批量点上估计，以近似真实积分损失。

实验结果

研究问题

• RQ1 一个灵活的开源框架在多大程度上能简化使用深度神经网络求解 PDE 的流程？
• RQ2 可自定义的采样方案在多大程度上能提升物理信息神经网络的收敛性和准确性？
• RQ3 具有自动微分和模块化架构设计的高层 API 能在多大程度上降低研究人员在基于 PDE 的机器学习中的实现门槛？
• RQ4 不同的神经网络架构（如 ResNet、DenseNet）和采样策略如何影响二阶 PDE 的解质量？
• RQ5 该框架能否在保持训练稳定性和可扩展性的前提下，支持具有非平凡初始和边界条件的复杂 PDE？

主要发现

• PyDEns 通过基于字典的高层问题定义，仅用极少代码即可求解广泛的 PDE 类型，包括热方程和波动方程。
• 该框架支持标准架构（如 ResNet、DenseNet）以及通过符号化布局语言定义的自定义神经网络结构，包含残差和全连接层。
• 训练性能对小批量大小极为敏感，小批量会导致损失剧烈振荡，而大批次除非结合区域特定采样，否则会导致收敛性差。
• 使用区域特定采样器——尤其是在边界或初始条件附近——可显著提升模型在目标区域的准确性，这对油气藏模拟等应用至关重要。
• 该框架成功求解了一个带源项和非平凡初始条件的非线性 PDE，使用四层全连接网络结合残差连接，展示了在复杂问题上的鲁棒性。
• 与 BatchFlow 的集成实现了可重现、可扩展的训练，并支持高级训练工作流，包括多阶段采样策略。