[论文解读] Multi-scale Deep Neural Networks for Solving High Dimensional PDEs

Wei Cai, Zhi‐Qin John Xu|arXiv (Cornell University)|Oct 25, 2019

Model Reduction and Neural Networks参考文献 19被引用 19

一句话总结

本文提出 MscaleDNN，一种多尺度深度神经网络，通过在傅里叶域中使用径向频率缩放和紧支撑激活函数，提升高频及高维函数逼近能力。通过将高频分量转换为低频表示，MscaleDNN 加速了训练过程，并提高了高维偏微分方程（PDE）的精度，在 Ritz 能量和最小二乘残差最小化框架下均优于标准 DNN。

ABSTRACT

In this paper, we propose the idea of radial scaling in frequency domain and activation functions with compact support to produce a multi-scale DNN (MscaleDNN), which will have the multi-scale capability in approximating high frequency and high dimensional functions and speeding up the solution of high dimensional PDEs. Numerical results on high dimensional function fitting and solutions of high dimensional PDEs, using loss functions with either Ritz energy or least squared PDE residuals, have validated the increased power of multi-scale resolution and high frequency capturing of the proposed MscaleDNN.

研究动机与目标

• 解决标准 DNN 在处理涉及振荡解的高维 PDE 时高频逼近性能差的问题。
• 通过在 k 空间中使用径向缩放而非坐标轴相位偏移，克服现有多尺度 DNN（如 PhaseDNN）在高维情况下的维度灾难问题。
• 通过频域中的多尺度表示，实现高维函数中高频分量的高效学习。
• 构建一个可扩展的框架，用于在 Ritz 能量和最小二乘残差损失函数下求解高维椭圆型 PDE。
• 为未来基于小波的、具备多分辨率能力的 DNN 架构在科学计算中的应用提供基础。

提出的方法

• 将傅里叶域划分为同心环状区域，实现高频内容在多个频率带上的分解。
• 在 k 空间中使用径向缩放，将高频分量映射为低频表示，从而加速 DNN 的学习过程。
• 引入具有紧支撑特性的激活函数，确保多尺度分辨率并避免频率覆盖冗余。
• 通过在第一隐层中构建多个经频率缩放的神经元，构建 MscaleDNN，每个神经元针对特定频率带进行调优。
• 实现两种损失函数：仅需一阶导数的 Ritz 能量最小化，以及需要拉普拉斯算子的最小二乘残差最小化。
• 采用 sReLU 激活函数和权重初始化方案（D1、D2），以在不同维度和尺度下稳定训练过程。

实验结果

研究问题

• RQ1 在傅里叶域中使用径向频率缩放，能否提升 DNN 对高频、高维函数的逼近能力？
• RQ2 所提出的 MscaleDNN 架构在求解具有振荡解的高维 PDE 时，是否优于标准 DNN？
• RQ3 使用紧支撑激活函数如何影响多尺度分辨率与训练速度？
• RQ4 MscaleDNN 是否能通过不同的损失函数形式，有效处理自伴型（如薛定谔方程）与非自伴型（如福克-普朗克方程）PDE？
• RQ5 与基于相位偏移的方法相比，多尺度设计在多大程度上缓解了维度灾难问题？

主要发现

• 在 d=25 的高维问题中，MscaleDNN 使用 100 个尺度时，在 Ritz 能量和最小二乘残差训练中均表现出显著快于单尺度 DNN 的收敛速度。
• 对于 d=25 的情形，MscaleDNN 的训练误差下降速度明显快于单尺度网络，展现出在高维下的良好可扩展性。
• sReLU 激活函数与合适的权重初始化（D2）进一步加速了收敛，尤其在高维情形下效果更显著。
• Ritz 能量最小化仅需一阶导数，计算成本低于需要完整拉普拉斯算子计算的最小二乘残差最小化。
• 该方法成功求解了同时包含低频与高频分量的高维 PDE，例如包含 sin(xi) + 100sin(10xi) 项的函数。
• 数值结果证实，MscaleDNN 通过 k 空间中的径向缩放，成功将高频内容转化为可学习的低频表示，从而有效捕捉高频特征。