[论文解读] Preconditioned training of normalizing flows for variational inference in inverse problems

Ali Siahkoohi, Gabrio Rizzuti+3 more|arXiv (Cornell University)|Nov 23, 2020

Seismic Imaging and Inversion Techniques被引用 2

一句话总结

本文提出一种预条件策略，利用在低保真度数据上训练的条件归一化流（NF）来加速在具有昂贵前向算子的反问题中进行变分推断的高保真度NF的训练。通过使用预训练的低保真度NF的权重初始化高保真度NF，该方法在不损失准确性的前提下显著加快了Kullback-Leibler散度的最小化过程，如在二维和地震压缩感知示例中所展示的那样。

ABSTRACT

Obtaining samples from the posterior distribution of inverse problems with expensive forward operators is challenging especially when the unknowns involve the strongly heterogeneous Earth. To meet these challenges, we propose a preconditioning scheme involving a conditional normalizing flow (NF) capable of sampling from a low-fidelity posterior distribution directly. This conditional NF is used to speed up the training of the high-fidelity objective involving minimization of the Kullback-Leibler divergence between the predicted and the desired high-fidelity posterior density for indirect measurements at hand. To minimize costs associated with the forward operator, we initialize the high-fidelity NF with the weights of the pretrained low-fidelity NF, which is trained beforehand on available model and data pairs. Our numerical experiments, including a 2D toy and a seismic compressed sensing example, demonstrate that thanks to the preconditioning considerable speed-ups are achievable compared to training NFs from scratch.

研究动机与目标

• 解决在具有昂贵前向算子的反问题中训练归一化流进行后验抽样的计算挑战。
• 通过利用低保真度模型-数据对来降低高保真度变分推断中的训练成本。
• 通过使用预训练的低保真度权重初始化高保真度模型，提升归一化流的收敛速度。
• 在地震压缩感知等复杂、异质性后验分布的问题中实现出色的抽样效率。
• 证明通过条件NF进行预条件处理可带来可测量的加速，且不损害后验近似质量。

提出的方法

• 在低保真度模型和数据对上训练条件归一化流，以学习一个代理后验分布。
• 使用预训练的低保真度NF来初始化高保真度NF，从而缩小优化搜索空间。
• 训练高保真度NF以最小化预测后验密度与目标后验密度之间的Kullback-Leibler散度。
• 该方法利用间接测量，并利用低保真度与高保真度问题之间的结构相似性。
• 条件NF架构支持端到端学习后验分布，同时保持通过前向算子的可微性。
• 该方法通过从低保真度到高保真度学习的知识迁移，避免了从随机初始化开始训练。

实验结果

研究问题

• RQ1 低保真度归一化流是否能有效预条件高保真度归一化流在反问题中的训练？
• RQ2 使用低保真度权重初始化高保真度NF在多大程度上减少了训练时间并提升了收敛性？
• RQ3 与从零开始训练相比，预条件高保真度NF在近似真实后验方面表现如何？
• RQ4 在具有昂贵前向算子的问题中，该方法是否在显著降低计算成本的同时保持了准确性？
• RQ5 该方法是否可推广至地震压缩感知等实际反问题？

主要发现

• 与从零开始训练归一化流相比，预条件训练方法在训练时间上实现了显著加速。
• 使用预训练的低保真度NF权重显著减少了高保真度训练中达到收敛所需的迭代次数。
• 通过二维模型问题和地震压缩感知示例的数值实验验证，该方法保持了高质量的后验近似。
• 即使在强异质性介质中，条件归一化流也能成功捕捉复杂的后验结构。
• 从低保真度到高保真度模型的知识迁移，实现了优化速度的快速提升，且后验准确性损失极小。
• 该方法在涉及昂贵前向算子的问题（如地球物理成像）中表现出良好的可扩展性和效率。