[论文解读] PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty

Paz Fink Shustin, Shashanka Ubaru+5 more|arXiv (Cornell University)|Feb 10, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

PCENet 提出了一种两阶段代理建模框架，用于高维不确定性量化（UQ），通过结合变分自编码器（VAE）进行潜在空间降维，以及基于最大均值差异（MMD）的多项式混沌展开（PCE）进行分布级回归。该方法无需先验分布假设，即可实现精确的不确定性传播和矩匹配，且在回归与PDE学习任务中表现出具有竞争力的性能。

ABSTRACT

Learning data representations under uncertainty is an important task that emerges in numerous scientific computing and data analysis applications. However, uncertainty quantification techniques are computationally intensive and become prohibitively expensive for high-dimensional data. In this study, we introduce a dimensionality reduction surrogate modeling (DRSM) approach for representation learning and uncertainty quantification that aims to deal with data of moderate to high dimensions. The approach involves a two-stage learning process: 1) employing a variational autoencoder to learn a low-dimensional representation of the input data distribution; and 2) harnessing polynomial chaos expansion (PCE) formulation to map the low dimensional distribution to the output target. The model enables us to (a) capture the system dynamics efficiently in the low-dimensional latent space, (b) learn under uncertainty, a representation of the data and a mapping between input and output distributions, (c) estimate this uncertainty in the high-dimensional data system, and (d) match high-order moments of the output distribution; without any prior statistical assumptions on the data. Numerical results are presented to illustrate the performance of the proposed method.

研究动机与目标

• 为解决由于维度灾难导致的高维数据系统中不确定性量化（UQ）的计算不可行性。
• 开发一种代理建模方法，学习输入与输出分布之间的函数映射，而无需对数据施加先验统计假设。
• 利用低维潜在表示，在高维系统中实现精确的不确定性传播与高阶矩匹配。
• 结合深度生成建模（VAE）与谱代理建模（PCE），实现在机器学习与科学计算中可扩展、可泛化的不确定性量化。

提出的方法

• 使用变分自编码器（VAE）将高维输入数据分布映射到低维潜在空间，同时保留分布特性。
• 将潜在空间表示作为输入输入多项式混沌展开（PCE）模型，以学习从潜在空间到输出分布的映射。
• 通过最大均值差异（MMD）学习PCE的系数，MMD是一种矩匹配技术，可使预测输出分布与真实输出分布对齐。
• 该方法通过依赖MMD匹配高阶矩，避免了对数据分布的强参数化假设，无需了解底层数据分布。
• 模型端到端训练：VAE 学习潜在分布，而结合MMD的PCE学习给定潜在表示的条件输出分布。
• 通过从学习到的潜在分布中采样并传播不确定性，实现不确定性量化，从而实现高效的后验统计估计。

实验结果

研究问题

• RQ1 深度生成模型与谱代理模型结合，能否有效学习高维数据系统中的输入-输出分布？
• RQ2 在无先验分布假设的前提下，基于MMD的PCE学习在多大程度上能匹配输出分布的高阶矩？
• RQ3 与标准基线相比，VAE-PCE框架在不确定性感知回归与PDE解学习中的表现如何？
• RQ4 该方法在保持计算效率与不确定性传播精度的同时，能否在高维输入下实现可扩展性？

主要发现

• PCENet 在 Boston 和 Diabetes 数据集上实现了具有竞争力的回归性能，在 LARS 测试集上的相对误差范围为 1.5% 至 8.8%。
• 在 Allen-Cahn 和 Hamilton-Jacobi-Bellman PDE 问题中，该方法在测试配置下成功学习了高维输入-输出映射，相对误差低于 10%。
• 通过从潜在空间采样，模型展示了有效的不确定性传播，能够估计后验标准差与预测区间。
• 自适应选择PCE阶数（Allen-Cahn 和 HJB 为 2 阶，Diabetes 为 3 阶）在多种数据分布下均实现了稳定且精确的矩匹配。
• 利用MMD学习PCE系数，使高阶矩匹配成为可能，而无需显式了解数据的概率密度函数。
• 该框架通过在低维潜在空间中运行，显著降低了计算成本，同时保留了输入-输出关系的全局特性。