[论文解读] The Power of Complementary Regularizers: Image Recovery via Transform Learning and Low-Rank Modeling

Bihan Wen, Yanjun Li+1 more|arXiv (Cornell University)|Aug 3, 2018

Sparse and Compressive Sensing Techniques参考文献 66被引用 6

一句话总结

本文提出 STROLLR，一种新颖的图像恢复框架，通过联合利用基于学习的稀疏化变换的稀疏性与分组相似块的低秩建模，以增强图像恢复效果。通过将变换学习与基于分组的低秩正则化相结合，STROLLR 在去噪、图像修复和压缩感知磁共振成像（MRI）任务中均实现了最先进性能，PSNR 相比现有方法最高提升 7.7 dB。

ABSTRACT

Recent works on adaptive sparse and on low-rank signal modeling have demonstrated their usefulness in various image / video processing applications. Patch-based methods exploit local patch sparsity, whereas other works apply low-rankness of grouped patches to exploit image non-local structures. However, using either approach alone usually limits performance in image reconstruction or recovery applications. In this work, we propose a simultaneous sparsity and low-rank model, dubbed STROLLR, to better represent natural images. In order to fully utilize both the local and non-local image properties, we develop an image restoration framework using a transform learning scheme with joint low-rank regularization. The approach owes some of its computational efficiency and good performance to the use of transform learning for adaptive sparse representation rather than the popular synthesis dictionary learning algorithms, which involve approximation of NP-hard sparse coding and expensive learning steps. We demonstrate the proposed framework in various applications to image denoising, inpainting, and compressed sensing based magnetic resonance imaging. Results show promising performance compared to state-of-the-art competing methods.

研究动机与目标

• 通过结合稀疏性与低秩建模正则化，解决单独使用其中任一正则化方法在图像恢复中的局限性。
• 开发一种高效且自适应的图像恢复框架，充分利用自然图像中的局部稀疏性与非局部自相似性。
• 用稀疏化变换学习替代计算成本较高的合成字典学习，实现更快且精确的稀疏编码。
• 通过统一的正则化模型，提升在压缩感知 MRI、去噪和图像修复等复杂反问题中的性能。

提出的方法

• 提出 STROLLR，一种同时利用稀疏性与低秩性的联合模型，整合了学习得到的稀疏化变换与基于分组的低秩近似。
• 采用变换学习，通过阈值化实现图像块的自适应稀疏表示，支持精确且高效的稀疏编码。
• 利用块匹配方法将相似图像块分组，并通过核范数或 Schatten p-范数正则化在每组上强制实现低秩结构。
• 采用带有收敛性保证的交替方向乘乘法法（ADMM）算法求解联合优化问题。
• 在统一的优化框架中，结合稀疏性（通过学习的变换）与低秩性（通过分组图像块矩阵）构建混合正则化器。
• 根据欠采样率与图像内容自适应调节正则化参数，提升在多种成像条件下的鲁棒性。

实验结果

研究问题

• RQ1 将学习得到的变换中的稀疏性与分组块的低秩建模相结合，是否能超越单一正则化方法，显著提升图像恢复性能？
• RQ2 在去噪、图像修复和压缩感知 MRI 任务中，所提出的 STROLLR 框架在 PSNR 和视觉质量方面与最先进方法相比表现如何？
• RQ3 在图像恢复任务中，使用稀疏化变换学习是否相比合成字典学习具有计算优势？
• RQ4 对稀疏性与非局部自相似性进行联合正则化，能在多大程度上减少重建图像中的伪影与噪声？
• RQ5 STROLLR 是否能无需微调即可泛化至不同 MRI 采样模式与图像类型，而无需像深度学习方法那样重新训练？

主要发现

• 在 2.5× 欠采样条件下，STROLLR-MRI 在物理幻像图像重建中相比 Sparse MRI 实现了 7.7 dB 的 PSNR 提升。
• 在七个 MRI 重建案例中，STROLLR-MRI 平均比 TL-MRI 和 FRIST-MRI 分别高出 2.5 dB 和 2.3 dB。
• 在 5× 伪极坐标欠采样条件下，Brain Data 1 图像的 STROLLR-MRI 达到 37.3 dB 的 PSNR，比 ADMM-Net 高出 1.4 dB。
• 视觉对比显示，STROLLR-MRI 产生的伪影与噪声少于所有对比方法，包括基于深度学习的 ADMM-Net。
• 该框架在 100 次迭代内实现经验收敛，并在无需为新采样模式重新训练的情况下，保持在多种成像场景下的高性能。
• 变换学习的使用实现了精确且高效的稀疏编码，避免了合成字典学习中常见的 NP-难近似问题。