[论文解读] Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees

Viraj Shah, Chinmay Hegde|arXiv (Cornell University)|Feb 23, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用 14

一句话总结

该论文提出了一种基于训练好的生成对抗网络（GAN）作为先验的投影梯度下降（PGD）算法，用于求解压缩感知等线性逆问题，并提供了可证明的收敛性保证。该方法在高维空间中迭代执行梯度下降，随后将结果投影到 GAN 生成的流形上，相较于以往基于学习的方法，在重建精度上表现更优，并具备理论支持的收敛速率。

ABSTRACT

In recent works, both sparsity-based methods as well as learning-based methods have proven to be successful in solving several challenging linear inverse problems. However, sparsity priors for natural signals and images suffer from poor discriminative capability, while learning-based methods seldom provide concrete theoretical guarantees. In this work, we advocate the idea of replacing hand-crafted priors, such as sparsity, with a Generative Adversarial Network (GAN) to solve linear inverse problems such as compressive sensing. In particular, we propose a projected gradient descent (PGD) algorithm for effective use of GAN priors for linear inverse problems, and also provide theoretical guarantees on the rate of convergence of this algorithm. Moreover, we show empirically that our algorithm demonstrates superior performance over an existing method of leveraging GANs for compressive sensing.

研究动机与目标

• 为解决基于稀疏性的先验在自然信号上缺乏判别力的问题。
• 克服现有基于学习的逆问题求解器在使用 GAN 先验时缺乏理论保证的局限性。
• 为在压缩感知和图像重建等逆问题中使用 GAN 作为先验，开发一种系统化且可证明收敛的算法。
• 证明在高维空间中使用 GAN 投影的 PGD 方法，优于在潜在空间中使用随机梯度下降的优化方法。

提出的方法

• 该算法在高维信号空间中使用投影梯度下降（PGD），交替执行梯度下降步骤和将结果投影到训练好的生成器网络 G 的输出范围内。
• 投影步骤确保迭代点始终位于 GAN 所建模的自然图像流形内。
• 在生成器 G 良好近似真实数据分布的假设下，理论分析在有界算子范数和类似受限等距性的条件下推导出收敛速率。
• 在适当的步长和算子范数约束下，证明收敛速率为线性，且速率 α < 1。
• 算法采用固定总更新步数，避免随机重启，并与先前工作中基于潜在空间的优化方法进行比较。
• 理论分析依赖于一个势函数 ψ(x)，并通过在迭代间对目标函数值差值的界，结合 A 和 G 的利普希茨性质。

实验结果

研究问题

• RQ1 在高维空间中使用 GAN 先验的基于 PGD 的算法，能否为线性逆问题提供可证明的收敛性？
• RQ2 在重建精度和收敛稳定性方面，高维空间中的 PGD 方法与潜在空间中使用随机梯度下降的优化方法相比表现如何？
• RQ3 在对测量算子和生成器质量的合理假设下，能否为基于 GAN 先验的逆问题求解器建立理论收敛速率？
• RQ4 当真实信号不在 GAN 支持集内但接近其时，所提出的方法是否仍保持有效性？

主要发现

• 与文献 [17] 中的潜在空间优化方法相比，使用 GAN 先验的 PGD 算法在重建误差上显著更低，尤其在测量数有限时表现更优。
• 在 MNIST 图像上使用 100 个测量值且信号来自 GAN 支持集时，重建误差趋近于零，表明在有利条件下可实现近乎完美的恢复。
• 在 CelebA 数据集上使用预训练的 DCGAN，当 m=1000 时，PGD-GAN 方法生成的重建图像在视觉上更清晰、更准确，优于基线方法。
• 理论分析证明，在适当的步长和算子范数约束下，收敛速率为线性且 α < 1，确保收敛稳定且快速。
• 由于显式投影步骤的存在，该方法比潜在空间优化更少陷入局部极小值，从而减少了对随机重启的依赖。
• 收敛速率与测量数 m 呈反比关系，δ（与噪声相关的项）随 m 增大而减小，支持该方法的鲁棒性。