[论文解读] Regularising Inverse Problems with Generative Machine Learning Models

Margaret Duff, Neill D. F. Campbell+1 more|arXiv (Cornell University)|Jul 22, 2021

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出生成式正则化方法，通过约束逆问题解位于预训练生成模型（如自编码器、VAE、GAN）所学习的流形附近，利用数据驱动先验提升图像重建质量。关键发现是，允许解在生成器输出范围外存在微小偏差，相比严格遵循生成器范围，能获得更一致且更高质量的重建结果，尤其在复杂数据上表现更优。

ABSTRACT

Deep neural network approaches to inverse imaging problems have produced impressive results in the last few years. In this paper, we consider the use of generative models in a variational regularisation approach to inverse problems. The considered regularisers penalise images that are far from the range of a generative model that has learned to produce images similar to a training dataset. We name this family extit{generative regularisers}. The success of generative regularisers depends on the quality of the generative model and so we propose a set of desired criteria to assess generative models and guide future research. In our numerical experiments, we evaluate three common generative models, autoencoders, variational autoencoders and generative adversarial networks, against our desired criteria. We also test three different generative regularisers on the inverse problems of deblurring, deconvolution, and tomography. We show that restricting solutions of the inverse problem to lie exactly in the range of a generative model can give good results but that allowing small deviations from the range of the generator produces more consistent results.

研究动机与目标

• 开发一种基于生成式机器学习模型作为先验的数据驱动正则化框架，用于逆问题。
• 评估不同生成模型（自编码器、VAE、GAN）在逆问题中的适用性。
• 识别并评估适用于逆问题的高质量生成模型的标准。
• 比较严格强制生成器输出范围与宽松、容许偏差的正则化策略。
• 在多种逆问题（去模糊、去卷积、层析成像）中验证该方法的有效性。

提出的方法

• 该方法使用生成模型 G: Z → X 定义正则化项，惩罚与 G 范围偏离过远的解 x。
• 评估三种正则化策略：(1) 强制解严格属于生成器的输出范围，(2) 通过潜在空间正则化允许微小偏差，(3) 允许多个稀疏偏差。
• 优化问题表述为 min_z ||AG(z) - y||²₂ + λ||z||²₂（硬约束情形），并针对宽松和稀疏偏差情形进行变体设计。
• 生成模型在独立数据集上训练后，再用于逆问题框架，确保对不同前向算子和噪声模型的灵活性。
• 该方法结合变分正则化与深度生成先验，避免对配对训练数据的需求。
• 数值实验通过 PSNR 和视觉检查评估去模糊、去卷积和层析成像任务在不同噪声水平下的性能。

实验结果

研究问题

• RQ1 在无监督训练下，生成模型能否作为变分逆问题中的有效正则化器？
• RQ2 生成正则化器的性能在多大程度上依赖于生成模型的选择（AE、VAE、GAN）？
• RQ3 是否严格限制解位于生成器输出范围内，能获得比允许微小偏差更好的结果？
• RQ4 应依据哪些标准来指导生成模型在逆问题应用中的选择与训练？
• RQ5 与 Tikhonov 或总变差等经典正则化器相比，该方法在重建质量与鲁棒性方面表现如何？

主要发现

• 允许解在生成器输出范围外存在微小偏差，始终优于严格强制其位于该范围，尤其在复杂或高变异性数据集上表现更优。
• 自编码器与 VAE 模型产生了最一致且最高质量的重建结果，而 GAN 对初始化更敏感且性能较差。
• 在去模糊与去卷积任务中，宽松正则化策略在所有噪声水平下均达到最高平均 PSNR，且方差低于 Tikhonov 正则化。
• 在层析成像任务中，宽松方法在低噪声水平下取得最佳 PSNR，能更有效地捕捉细微细节，优于硬约束或稀疏偏差方法。
• 硬约束方法在不同噪声水平下结果一致，但无法随噪声降低而提升性能，表明其缺乏适应性。
• 本研究识别出有效生成模型在逆问题中应具备的关键标准，包括多样性、重建保真度以及对优化不稳定的鲁棒性，而当前模型（尤其是 GAN）常无法满足这些要求。