[论文解读] The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems

Deep Ray, Harisankar Ramaswamy+2 more|arXiv (Cornell University)|Feb 15, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种带有U-Net生成器和条件实例归一化（CIN）的条件Wasserstein GAN（cWGAN），以在由PDE控制的物理基贝叶斯反问题中实现高效的后验抽样。通过在多尺度注入潜在变量，该方法实现了潜在维度与测量尺寸的解耦，支持多尺度随机性，并在包括热传导和弹性成像在内的多种PDE反问题中实现了精确的不确定性量化以及对分布外测量的泛化能力。

ABSTRACT

In this work, we train conditional Wasserstein generative adversarial networks to effectively sample from the posterior of physics-based Bayesian inference problems. The generator is constructed using a U-Net architecture, with the latent information injected using conditional instance normalization. The former facilitates a multiscale inverse map, while the latter enables the decoupling of the latent space dimension from the dimension of the measurement, and introduces stochasticity at all scales of the U-Net. We solve PDE-based inverse problems to demonstrate the performance of our approach in quantifying the uncertainty in the inferred field. Further, we show the generator can learn inverse maps which are local in nature, which in turn promotes generalizability when testing with out-of-distribution samples.

研究动机与目标

• 通过用深度生成建模替代缓慢的MCMC抽样，解决基于PDE的反问题中传统贝叶斯推断的计算瓶颈。
• 通过实现完整的后验抽样和不确定性量化，克服确定性正则化方法的局限性。
• 开发一种可扩展、可泛化的深度学习框架，用于跨多种物理基反问题的后验推断。
• 通过条件实例归一化（CIN）实现潜在空间维度与测量或场维度的灵活分离。
• 在真实实验设置下，证明训练模型在分布外（OOD）测量上的鲁棒性与泛化能力。

提出的方法

• 使用来自推断场与测量联合分布的成对数据训练条件Wasserstein GAN（cWGAN），数据通过带有合成先验的前向PDE求解生成。
• 采用基于残差块的U-Net架构作为生成器，以捕捉测量中的多尺度特征并重建推断场。
• 在U-Net的多个层中通过条件实例归一化（CIN）注入潜在噪声，实现多尺度随机性，并将潜在维度与输入/输出维度解耦。
• 使用简化的判别器网络而非条件小批量判别器，利用WGAN的理论收敛保证来确保后验统计的稳定性。
• 通过Wasserstein对抗损失端到端训练cWGAN，以确保训练稳定，并实现生成后验对真实后验的弱收敛。
• 通过将训练好的生成器条件化于新测量，生成后验样本，从而绕过MCMC，实现快速、可扩展的推断。

实验结果

研究问题

• RQ1 基于CIN的潜在变量注入，cWGAN能否在多种基于PDE的反问题中有效学习后验分布？
• RQ2 与采用通道级潜在变量堆叠的标准cGAN相比，CIN的使用在泛化能力和不确定性量化方面有何改进？
• RQ3 在弹性成像中，基于合成数据训练的cWGAN在多大程度上能泛化到真实实验测量？
• RQ4 所学习的逆映射是否表现出局部特性，从而支持对分布外（OOD）测量的泛化？
• RQ5 cWGAN能否提供可靠的不确定性估计（如标准差），其结果是否与物理场中的真实重建误差相关？

主要发现

• 结合CIN的cWGAN在三种不同的PDE反问题中成功生成了后验样本：热传导（初始条件与导热系数）以及弹性成像。
• 在实验超声数据上测试时，模型在估计包含物中心垂直距离上的误差为7.7%，在直径估计上的误差为3%，与确定性方法相当。
• 包含物的剪切模量估计为13.3 kPa，与实测值10.7 kPa相比误差为24.3%，处于确定性方法的误差范围内。
• 不确定性（标准差）在包含物边界处最高，正确反映了重建模糊性较高的区域。
• 通过RRQR选出的三个最重要样本变异最小，表明后验抽样具有一致性且推断稳定。
• 训练好的cWGAN在OOD测量上表现出良好的泛化能力，理论与实证证据均表明所学习的逆映射具有局部特性，是泛化能力的关键驱动因素。