[论文解读] Unrolled Optimization with Deep Priors

Steven Diamond, Vincent Sitzmann+2 more|arXiv (Cornell University)|May 22, 2017

Sparse and Compressive Sensing Techniques参考文献 3被引用 128

一句话总结

本论文提出 ODP，一种将可学习的深度 CNN 先验用于展开的经典优化的原理框架，以解决逆成像问题，在去噪、去模糊和压缩感知 MRI 方面达到最先进的结果。

ABSTRACT

A broad class of problems at the core of computational imaging, sensing, and low-level computer vision reduces to the inverse problem of extracting latent images that follow a prior distribution, from measurements taken under a known physical image formation model. Traditionally, hand-crafted priors along with iterative optimization methods have been used to solve such problems. In this paper we present unrolled optimization with deep priors, a principled framework for infusing knowledge of the image formation into deep networks that solve inverse problems in imaging, inspired by classical iterative methods. We show that instances of the framework outperform the state-of-the-art by a substantial margin for a wide variety of imaging problems, such as denoising, deblurring, and compressed sensing magnetic resonance imaging (MRI). Moreover, we conduct experiments that explain how the framework is best used and why it outperforms previous methods.

研究动机与目标

• 动机并形式化一个通用框架（ODP），将先验嵌入展开的优化过程以解决逆成像问题。
• 将数据一致性与学习到的 CNN 先验结合起来，以实现高质量的重建。
• 在去噪、去模糊和压缩感知 MRI 等任务上展示最先进的性能。
• 提供关于在何时、如何在 ODP 中利用先验信息的经验性指南。
• 提供在展开框架内选择优化算法和网络结构的见解。

提出的方法

• 将一个优化算法（例如近端梯度法）展开为固定深度的网络，交替数据步和 CNN 先验步骤。
• 通过 CNN 先验对先验项的近端算子或梯度进行参数化（通常是残知 CNN）。
• 使用图像–测量对上的重建损失端到端训练网络，同时优化 CNN 和算法的超参数。
• 用简单的反投影 x^0 = A^H y 进行初始化以求解逆问题。
• 比较不同的展开优化变体（近端梯度、ADMM、LADMM、梯度下降）以评估哪一种能最好地利用数据项。
• 给出设计默认值：选择近端梯度展开作为强基线，使用残差 CNN 先验，并采用受 HQS 启发的步长衰减启发式。

实验结果

研究问题

• RQ1 带有学习到的先验的展开优化能否在常见成像逆问题（去噪、去模糊、CS-MRI）上超越最先进的方法？
• RQ2 数据项的反演应如何整合到展开网络中（哪种优化算法以及哪些近端/梯度步最为有效）？
• RQ3 CNN 先验对性能的贡献在多大程度上相对于数据步，以及这些贡献在不同问题上的相互作用？
• RQ4 在 ODP 内学习的体系结构和参数选择是否可以跨越图像形成算子进行迁移（即超出单一 A 的泛化）？

主要发现

模型	20%	30%	40%	50%	每张图像时间
PBDW	36.34	38.64	40.31	41.81	35.36s (CPU)
PANO	36.52	39.13	41.01	42.76	53.48s (CPU)
FDLCP	36.95	39.13	40.62	42.00	52.22s (CPU)
ADMM-Net	37.17	39.84	41.56	43.00	0.79s (CPU)
BM3D-MRI	37.98	40.33	41.99	43.47	40.91s (CPU)
ODP	38.50	40.71	42.34	43.85	0.090s (GPU)

• ODP 模型在去噪、去模糊和 CS-MRI 的多次实验中超越了最先进的方法。
• 一个跨越多个成像形成算子的单一 ODP 模型可以超越为每个算子单独训练的专用模型（例如在 CS-MRI 中）。
• 基于近端梯度的展开网络，配合 CNN 先验和每次迭代近似反转 A 的算子，在所测试的算法中往往表现最好。
• 在可行且准确时，数据步的反演显著有助于重建；CNN 先验主要做去噪和纠正残留伪影。
• 先验信息通常提高泛化能力，特别是当图像形成算子复杂或训练时未见时。
• 在消融实验中，纯 CNN 先验在去模糊和 CS-MRI 中的表现不如有数据步的模型，强调数据一致性项在具有挑战性的逆问题中的重要性。