[论文解读] Trumpets: Injective Flows for Inference and Inverse Problems

Konik Kothari, AmirEhsan Khorashadizadeh+2 more|arXiv (Cornell University)|Feb 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 6

一句话总结

本文提出 Trumpets，一种新型的可注入归一化流，通过从低维潜在空间逐步提升维度，实现快速训练和精确的似然评估。通过结合可注入耦合层与两阶段训练方案，Trumpets 在生成建模性能上与标准归一化流相当，但训练速度高出数个数量级，并支持在压缩感知和有限角度CT等反问题中进行高效的贝叶斯推断与不确定性量化。

ABSTRACT

We propose injective generative models called Trumpets that generalize invertible normalizing flows. The proposed generators progressively increase dimension from a low-dimensional latent space. We demonstrate that Trumpets can be trained orders of magnitudes faster than standard flows while yielding samples of comparable or better quality. They retain many of the advantages of the standard flows such as training based on maximum likelihood and a fast, exact inverse of the generator. Since Trumpets are injective and have fast inverses, they can be effectively used for downstream Bayesian inference. To wit, we use Trumpet priors for maximum a posteriori estimation in the context of image reconstruction from compressive measurements, outperforming competitive baselines in terms of reconstruction quality and speed. We then propose an efficient method for posterior characterization and uncertainty quantification with Trumpets by taking advantage of the low-dimensional latent space.

研究动机与目标

• 解决标准归一化流训练计算成本高昂的问题，其为双射且需要全维潜在空间。
• 开发一种保持精确可逆性与似然评估的生成模型，同时将训练时间大幅缩短。
• 利用低维潜在空间，在病态反问题中实现高效的贝叶斯推断与不确定性量化。
• 利用可注入流支持快速、精确的反演与似然计算，以支持图像重建等下游任务。
• 在压缩感知与有限角度计算机断层扫描等真实反问题中，展示Trumpets的实用性。

提出的方法

• 提出可注入耦合层，将低维潜在空间映射到高维数据空间，通过构造保证单射性。
• 设计具有快速、解析逆和可处理雅可比行列式，以实现高效的似然计算。
• 采用两阶段训练流程：首先训练可注入流组件，然后联合优化其像空间上的双射变换。
• 将训练好的Trumpet生成器作为贝叶斯反问题中的先验，通过投影梯度下降实现最大后验（MAP）估计。
• 通过变分推断在低维潜在空间近似后验分布，实现不确定性量化。
• 利用生成器的快速逆，高效计算优化过程中的投影，降低计算开销。

实验结果

研究问题

• RQ1 是否可设计出可注入流，在显著缩短训练时间的同时，保持快速反演与可处理似然？
• RQ2 在压缩感知与有限角度断层扫描中，具有低维潜在空间的可注入流是否能提升重建质量与速度？
• RQ3 当使用低维潜在空间的生成先验时，如何高效地在反问题中进行不确定性量化？
• RQ4 Trumpets 在实现比标准流快数个数量级训练速度的同时，其生成质量能保持多大程度？
• RQ5 可注入流架构是否能支持病态反问题中精确的似然评估与高效的MAP估计？

主要发现

• Trumpets 的训练速度比标准归一化流（如Glow）快达数个数量级，同时在CelebA数据集上生成样本质量相当或更优。
• 模型实现精确似然评估与快速、精确的反演，使其在贝叶斯推断流程中可高效使用。
• 在压缩感知与有限角度CT中，基于Trumpet的MAP估计在重建质量与速度上均优于现有基线方法。
• 在低维潜在空间中通过后验近似进行不确定性量化，可产生与物理直觉一致的空间域与频域不确定性模式。
• 后验均值绝对偏差的傅里叶谱揭示了有限视角CT中缺失角度对应的不确定性增加锥形区域，验证了方法的可解释性。
• 低维潜在空间支持高效的变分后验近似，与全空间方法相比显著降低了计算成本。