[论文解读] Residual Learning for Effective joint Demosaicing-Denoising

Yu Guo, Qiyu Jin+3 more|arXiv (Cornell University)|Sep 14, 2020

Image and Signal Denoising Methods参考文献 42被引用 10

一句话总结

本文提出了一种新颖的联合去马赛克-去噪框架，通过反转传统流程，首先使用混合CNN-Inception模型进行去马赛克，然后通过残差学习对生成的噪声图像进行去噪。该方法有效消除了棋盘效应，保留了精细细节，并在定量指标和视觉质量方面均优于最先进方法，尤其在高噪声水平（SNR > 20）下表现更优。

ABSTRACT

Image demosaicking and denoising are the two key steps for color image production pipeline. The classical processing sequence consists of applying denoising first, and then demosaicking. However, this sequence leads to oversmoothing and unpleasant checkerboard effect. Moreover, it is very difficult to change this order, because once the image is demosaicked, the statistical properties of the noise will be changed dramatically. This is extremely challenging for traditional denoising models that strongly rely on statistical assumptions. In this paper, we attempt to tackle this prickly problem. Indeed, here we invert the traditional CFA processing pipeline by first demosaicking and then denoising. In the first stage, we design a demosaicking algorithm that combines traditional methods and a convolutional neural network (CNN) to reconstruct a full color image ignoring the noise. To improve the performance in image demosaicking, we modify an Inception architecture for fusing R, G and B three channels information. This stage retains all known information that is the key point to obtain pleasurable final results. After demosaicking, we get a noisy full-color image and use another CNN to learn the demosaicking residual noise (including artifacts) of it, that allows to obtain a restored full color image. Our proposed algorithm completely avoids the checkerboard effect and retains more image detail. Furthermore, it can process very high-level noise while the performances of other CNN based methods for noise higher than 20 are rather limited. Experimental results show clearly that our method outperforms state-of-the-art methods both quantitatively as well as in terms of visual quality.

研究动机与目标

• 解决传统先去马赛克后去噪流程的局限性，该流程会导致过度平滑和棋盘伪影。
• 克服去马赛克后噪声分布发生变化的问题，该问题会削弱传统去噪模型的性能。
• 开发一种鲁棒的联合处理框架，在有效去除噪声的同时保留图像细节。
• 实现在高噪声环境（SNR > 20）下的有效去噪，而现有基于CNN的方法在此条件下失效。
• 通过学习去马赛克图像中的残差噪声，提升视觉质量和定量性能。

提出的方法

• 第一阶段：使用结合经典插值与改进Inception架构的混合模型对原始CFA图像进行去马赛克，以融合R、G和B通道的信息。
• 基于Inception的网络特别针对多通道特征融合进行优化，以提升去马赛克的准确性。
• 第二阶段：应用独立的CNN学习去马赛克后全彩图像中包含的残差噪声（包括伪影）。
• 残差学习方法使网络能够专注于修正噪声和结构失真，而非从零开始重建干净图像。
• 该方法反转了标准处理顺序——先去马赛克后去噪——以保持噪声的统计完整性，从而实现更有效的学习。
• 通过在去马赛克阶段保留完整的图像信息，再进行噪声建模，该框架避免了棋盘效应。

实验结果

研究问题

• RQ1 反转传统去马赛克-去噪流程是否能提升图像质量并减少棋盘效应等伪影？
• RQ2 在去马赛克后噪声统计特性发生变化的情况下，残差学习在去噪去马赛克图像中的有效性如何？
• RQ3 与标准方法相比，混合CNN-Inception架构能否提升去马赛克性能？
• RQ4 在现有方法性能下降的高噪声水平下（如SNR > 20），所提方法是否仍能保持优异性能？
• RQ5 与顺序处理相比，该联合方法在保留精细图像细节方面表现如何？

主要发现

• 所提方法显著减少了传统去噪流程中常见的棋盘效应。
• 与最先进方法相比，该框架在高频区域保留了更多图像细节。
• 该方法在定量性能上表现更优，优于现有基于CNN的方法，在标准指标（如PSNR、SSIM）上表现更佳。
• 在高噪声水平（SNR > 20）下表现有效，而其他基于CNN的方法在此条件下性能明显下降。
• 视觉质量显著提升，伪影更少，色彩还原更自然。
• 残差学习阶段成功捕捉并去除了复杂的噪声模式和去马赛克伪影。