[论文解读] Recurrent Generative Adversarial Networks for Proximal Learning and Automated Compressive Image Recovery

Morteza Mardani, Hatef Monajemi+4 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Image Processing Techniques参考文献 29被引用 39

一句话总结

本文提出一种循环生成残差网络（Recurrent GAN-ResNet），通过展开近端梯度迭代来学习压缩图像恢复的图像先验，结合像素级损失与感知损失以提升重建保真度与真实感。该方法在100倍更快的推理速度下，相较传统压缩感知MRI实现4 dB信噪比增益，在儿科MRI重建中较深度ResNet基线提升2 dB信噪比。

ABSTRACT

Recovering images from undersampled linear measurements typically leads to an ill-posed linear inverse problem, that asks for proper statistical priors. Building effective priors is however challenged by the low train and test overhead dictated by real-time tasks; and the need for retrieving visually "plausible" and physically "feasible" images with minimal hallucination. To cope with these challenges, we design a cascaded network architecture that unrolls the proximal gradient iterations by permeating benefits from generative residual networks (ResNet) to modeling the proximal operator. A mixture of pixel-wise and perceptual costs is then deployed to train proximals. The overall architecture resembles back-and-forth projection onto the intersection of feasible and plausible images. Extensive computational experiments are examined for a global task of reconstructing MR images of pediatric patients, and a more local task of superresolving CelebA faces, that are insightful to design efficient architectures. Our observations indicate that for MRI reconstruction, a recurrent ResNet with a single residual block effectively learns the proximal. This simple architecture appears to significantly outperform the alternative deep ResNet architecture by 2dB SNR, and the conventional compressed-sensing MRI by 4dB SNR with 100x faster inference. For image superresolution, our preliminary results indicate that modeling the denoising proximal demands deep ResNets.

研究动机与目标

• 解决从欠采样线性测量中实时、高保真度恢复医学与自然图像的挑战。
• 克服传统压缩感知（如收敛缓慢、感知质量差）以及深度学习基线方法（如训练开销高、产生幻觉）在病态逆问题中的局限性。
• 设计一种轻量化、循环的网络架构，通过残差模块与基于生成对抗网络的感知损失，利用近端算子学习有效的图像先验。
• 探究在全局（如MRI）与局部（如超分辨率）恢复任务中，循环小网络是否能超越深层网络。

提出的方法

• 将近端梯度迭代展开为级联的循环网络架构，其中每个阶段通过由残差网络（ResNet）建模的可学习近端算子实现。
• 在生成器网络训练中，采用预训练判别器提取的感知损失与像素级L2损失的混合，结合生成对抗网络框架，以确保重建结果在保真度与感知合理性上的双重保障。
• 采用循环结构，通过阶段间共享或独立的权重参数，将图像投影至数据一致（物理模型）与合理（先验流形）图像空间的交集。
• 通过5步梯度下降近似反卷积操作，并引入梯度裁剪以稳定训练，尤其在使用转置卷积进行上采样时。
• 将该架构应用于两项任务：从k空间欠采样中重建儿科MRI图像，以及将32×32的CelebA人脸图像超分辨至128×128。

实验结果

研究问题

• RQ1 仅使用单个残差块的循环ResNet架构能否有效学习压缩图像恢复的近端算子，并在MRI重建中超越更深的网络？
• RQ2 在生成对抗网络框架中结合像素级与感知损失，是否能提升重建图像的感知质量与物理可行性，相较标准L2损失？
• RQ3 在局部图像超分辨率任务与全局MRI重建任务中，循环架构相较于深层非循环ResNets的性能表现如何？
• RQ4 轻量化循环网络是否能在保持100倍更快推理速度的同时，实现相较于传统压缩感知方法的显著信噪比增益？

主要发现

• 在儿科MRI重建中，采用单个残差块的循环ResNet相较深层ResNet基线实现2 dB信噪比增益，相较传统压缩感知方法提升4 dB信噪比，且推理速度提升100倍。
• 该循环架构在信噪比与推理速度方面显著优于深层ResNet与传统CS-MRI方法，表明在全局逆问题中，小型重复网络比深层网络更具有效性。
• 在CelebA人脸超分辨率任务中，采用共享或独立权重的循环架构未展现出明显优势，表明在局部去噪近端算子中，深层网络仍为必要选择。
• 各阶段生成器输出揭示了分层抽象过程：早期阶段恢复低频结构并引入噪声，后续阶段逐步优化以增强清晰度并减少伪影。
• 采用梯度裁剪有效稳定了通过迭代优化近似反卷积的训练过程，防止反向传播中梯度爆炸与NaN值的出现。