[论文解读] Uncertainty Quantification with Generative Models
本文提出了一种基于生成模型的贝叶斯反问题框架，利用带归一化流的变分自编码器（VAEs）实现在高维数据重建中高效且可处理的不确定性量化。通过在干净数据上一次性训练生成模型，该方法可在潜在空间中进行后验推断，从而在多种退化类型下实现精确采样与不确定性表征。
We develop a generative model-based approach to Bayesian inverse problems, such as image reconstruction from noisy and incomplete images. Our framework addresses two common challenges of Bayesian reconstructions: 1) It makes use of complex, data-driven priors that comprise all available information about the uncorrupted data distribution. 2) It enables computationally tractable uncertainty quantification in the form of posterior analysis in latent and data space. The method is very efficient in that the generative model only has to be trained once on an uncorrupted data set, after that, the procedure can be used for arbitrary corruption types.
研究动机与目标
- 解决在高维图像重建问题中构建精确、数据驱动先验的挑战。
- 克服在高维数据空间中完整后验分析的计算不可行性。
- 通过在低维潜在空间中进行可处理的后验近似，实现在高维反问题中的不确定性量化。
- 开发一种框架，使单个预训练生成模型可重复用于多种退化类型，而无需重新训练。
- 为复杂且非高斯的后验分布提供传统采样方法（如哈密顿蒙特卡洛）的可扩展替代方案。
提出的方法
- 在未退化的数据上训练变分自编码器（VAE），以学习从低维潜在空间到数据分布的映射。
- 应用双射归一化流，将VAE的潜在空间分布转换为标准正态分布，以实现更优建模。
- 使用贝叶斯规则表述潜在变量的后验分布：$ p_{\phi}(\mathbf{z}|\mathbf{x}) \propto p_{\phi}(\mathbf{x}|\mathbf{z})p(\mathbf{z}) $。
- 使用EL2O目标函数在潜在空间中拟合后验的高斯近似，通过多次随机重启最小化证据下界。
- 从拟合后的潜在空间后验中采样，并解码到数据空间，以可视化重建中的不确定性。
- 将生成模型与线性退化算子 $ \mathbf{A} $ 及加性高斯噪声结合，以建模前向过程。
实验结果
研究问题
- RQ1预训练的生成模型能否提供一种灵活、数据驱动的先验，以捕捉未退化数据中的复杂结构？
- RQ2能否通过潜在空间后验近似使高维反问题中的不确定性量化在计算上变得可行？
- RQ3与随机变分推断（SVI）相比，基于EL2O的后验拟合在准确性和效率方面表现如何？
- RQ4单个预训练生成模型在不重新训练的情况下，能在多大程度上处理多种不同的退化类型？
- RQ5该方法是否能保留后验中多模态和强相关结构，而这些结构在仅考虑方差或均值场近似时会被忽略？
主要发现
- EL2O方法的收敛速度优于随机变分推断（SVI），仅需10次最小化（每次约10秒），而SVI需8000次迭代。
- 在40%的随机重启中，EL2O方法成功定位到全局后验众数，其他局部极小值对后验的贡献可忽略不计。
- 通过自动微分计算的全局最小值处的曲率，提供了稳定的后验协方差估计，并用于拟合全秩高斯近似。
- EL2O与SVI的后验拟合均未与真实后验众数对齐，但EL2O更接近真实负对数后验形状。
- 尽管SVI计算成本更高，基于EL2O采样的重建结果与真实值更接近。
- 该方法成功捕捉了复杂的后验结构，包括多模态性和强相关性，而这些结构在仅考虑方差或对角近似时难以准确表示。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。