[论文解读] MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems

Jiahao Zhang, Shiqi Zhang+1 more|arXiv (Cornell University)|Apr 7, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出 MultiAuto-DeepONet，一种新颖的深度学习框架，将多分辨率卷积自编码器与 DeepONet 相结合，以实现对前向和反向随机微分方程的高效非线性降维、不确定性量化以及算子学习。通过集成用于输入特征提取的编码器和具有共享分支及 L₁-正则化稀疏权重的双 DeepONet 解码器，该模型在减少参数数量的同时实现了高精度，相较于基于 PCA 的 DeepONet，在多个随机 PDE 问题中均在均值和方差预测方面表现更优。

ABSTRACT

A new data-driven method for operator learning of stochastic differential equations(SDE) is proposed in this paper. The central goal is to solve forward and inverse stochastic problems more effectively using limited data. Deep operator network(DeepONet) has been proposed recently for operator learning. Compared to other neural networks to learn functions, it aims at the problem of learning nonlinear operators. However, it can be challenging by using the original model to learn nonlinear operators for high-dimensional stochastic problems. We propose a new multi-resolution autoencoder DeepONet model referred to as MultiAuto-DeepONet to deal with this difficulty with the aid of convolutional autoencoder. The encoder part of the network is designed to reduce the dimensionality as well as discover the hidden features of high-dimensional stochastic inputs. The decoder is designed to have a special structure, i.e. in the form of DeepONet. The first DeepONet in decoder is designed to reconstruct the input function involving randomness while the second one is used to approximate the solution of desired equations. Those two DeepONets has a common branch net and two independent trunk nets. This architecture enables us to deal with multi-resolution inputs naturally. By adding $L_1$ regularization to our network, we found the outputs from the branch net and two trunk nets all have sparse structures. This reduces the number of trainable parameters in the neural network thus making the model more efficient. Finally, we conduct several numerical experiments to illustrate the effectiveness of our proposed MultiAuto-DeepONet model with uncertainty quantification.

研究动机与目标

• 为在数据有限的情况下解决前向和反向问题中高维随机算子学习的挑战。
• 通过引入非线性降维，克服标准 DeepONet 在处理高维输入时的局限性。
• 通过输入和解算子的可学习稀疏表示，实现在随机微分方程中的有效不确定性量化。
• 开发一种统一架构，同时实现非线性特征提取和算子近似，并减少参数数量。

提出的方法

• 该模型采用卷积自编码器作为编码器，以降低输入维度并从高维随机函数中提取隐藏特征。
• 解码器由两个独立的 DeepONet 组成，共享一个公共分支网络，但具有独立的主干网络，分别用于重建和解的近似。
• 分支网络处理来自编码器的潜在表示，而主干网络则以传感器位置和随机变量作为输入，预测函数输出。
• 对分支网络和主干网络应用 L₁ 正则化，以诱导稀疏性，降低模型复杂度并提高泛化能力。
• 通过自编码器学习分层表示，支持多分辨率输入，并实现输入域的灵活缩放。
• 模型通过预测值与真实解值之间的均方误差损失进行训练，并在未见过的样本轨迹上进行验证。

实验结果

研究问题

• RQ1 在数据有限的情况下，深度学习模型能否有效学习高维随机微分方程中的非线性算子？
• RQ2 将自编码器与 DeepONet 结合，如何提升随机算子学习中的性能与泛化能力？
• RQ3 L₁ 正则化在多大程度上增强了学习算子表示的稀疏性并减少了参数数量？
• RQ4 在随机 PDE 的不确定性量化和解的精度方面，MultiAuto-DeepONet 与基于 PCA 的 DeepONet 相比如何？
• RQ5 该模型能否泛化到具有不同空间或时间尺度的输入，例如在 KdV 方程示例中？

主要发现

• 在 KdV 方程前向问题中，MultiAuto-DeepONet 的测试均方误差约为 6.34×10⁻⁵，平均相对 l² 误差为 0.097%。
• 与基于 PCA 的 DeepONet 相比，预测均值的相对 l² 误差从 0.166% 降低至 0.107%，方差误差从 1.53% 降低至 0.99%。
• 由于 L₁ 正则化，分支和主干网络中学习到的系数表现出显著的稀疏性，大幅减少了可训练参数数量。
• 编码器成功捕捉了随机输入的隐藏特征，使得能够从潜在空间准确生成新的输入函数样本。
• 该模型在训练和验证损失曲线高度吻合，表现出优越的泛化能力，表明泛化误差较低。
• 双 DeepONet 解码器架构有效分离了重建与解的近似任务，在多分辨率设置下显著提升了整体精度。