[论文解读] Trinity of Pixel Enhancement: a Joint Solution for Demosaicking, Denoising and Super-Resolution.

Guocheng Qian, Jinjin Gu+4 more|arXiv (Cornell University)|May 7, 2019

Advanced Image Processing Techniques参考文献 36被引用 30

一句话总结

本文提出 Trinity Enhancement Network (TENet)，一种基于联合学习的方法，通过创新的流水线顺序和端到端训练，同时解决去马赛克、去噪和超分辨率问题。实验表明，TENet 在定量指标和视觉质量方面均优于现有方法，其中新提出的 PixelShift200 数据集对高保真训练至关重要。

ABSTRACT

Demosaicing, denoising and super-resolution (SR) are of practical importance in digital image processing and have been studied independently in the passed decades. Despite the recent improvement of learning-based image processing methods in image quality, there lacks enough analysis into their interactions and characteristics under a realistic setting of the mixture problem of demosaicing, denoising and SR. In existing solutions, these tasks are simply combined to obtain a high-resolution image from a low-resolution raw mosaic image, resulting in a performance drop of the final image quality. In this paper, we first rethink the mixture problem from a holistic perspective and then propose the Trinity Enhancement Network (TENet), a specially designed learning-based method for the mixture problem, which adopts a novel image processing pipeline order and a joint learning strategy. In order to obtain the correct color sampling for training, we also contribute a new dataset namely PixelShift200, which consists of high-quality full color sampled real-world images using the advanced pixel shift technique. Experiments demonstrate that our TENet is superior to existing solutions in both quantitative and qualitative perspective. Our experiments also show the necessity of the proposed PixelShift200 dataset.

研究动机与目标

• 解决现有独立或串行方法在真实图像处理中去马赛克、去噪和超分辨率方面的局限性。
• 研究将这些任务简单地整合到单一流水线中导致的性能下降问题。
• 提出一种整体性的联合学习框架，同时优化所有三项任务以提升图像质量。
• 构建一个高质量的真实世界数据集 PixelShift200，以支持联合模型的精确训练。
• 在真实图像增强场景中，证明所提出数据集和网络架构的必要性与有效性。

提出的方法

• 设计一种新颖的图像处理流水线顺序，将去马赛克、去噪和超分辨率整合到统一的、端到端可训练的框架中。
• 引入一种联合学习策略，使网络能够同时优化所有三项任务，利用共享表征和相互监督。
• 利用 PixelShift200 数据集，该数据集包含通过先进像素位移技术捕获的高分辨率全彩图像，为训练提供精确的真值数据。
• 使用配对的低分辨率原始马赛克输入和对应的高质量全彩输出来训练 Trinity Enhancement Network (TENet)。
• 采用带有跳跃连接和多尺度特征学习的深度神经网络架构，以保留精细细节并减少伪影。
• 应用针对联合优化目标定制的数据增强和损失函数，包括感知损失和对抗性损失，以提升图像的真实感。

实验结果

研究问题

• RQ1 与串行或独立处理相比，去马赛克、去噪和超分辨率的联合优化在最终图像质量方面表现如何？
• RQ2 流水线顺序和网络架构设计对多任务图像增强性能有何影响？
• RQ3 训练数据的质量和真实感在多大程度上影响基于深度学习的图像增强模型性能？
• RQ4 与专用或级联模型相比，单一统一网络能否在所有三项任务上实现更优结果？
• RQ5 与现有数据集相比，所提出的 PixelShift200 数据集如何提升训练保真度和模型泛化能力？

主要发现

• Trinity Enhancement Network (TENet) 在去马赛克、去噪和超分辨率任务中均实现了最先进的定量指标和视觉质量表现。
• 与级联或独立处理三种任务相比，联合学习策略显著提升了最终图像质量。
• 所提出的 PixelShift200 数据集对实现高保真训练至关重要，实验表明使用标准数据集时性能会下降。
• 由于联合优化和高质量训练数据，TENet 展现出更优的泛化能力和细节保留能力，尤其在纹理丰富和低光照区域表现更佳。
• TENet 中新颖的流水线顺序相比传统串行处理，能实现更好的特征学习并减少误差累积。
• 定量结果表明，PSNR 和 SSIM 在多个基准数据集上均持续提升，证实了联合方法的有效性。