[论文解读] Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser

Yue Cao, Xiaohe Wu+4 more|arXiv (Cornell University)|Mar 18, 2021

Image and Signal Denoising Methods参考文献 46被引用 4

一句话总结

该论文提出 Pseudo-ISP，一种无配对学习框架，通过联合学习伪相机内信号处理（ISP）流水线和信号相关原始RGB噪声模型，将预训练的彩色图像去噪器适配到具有噪声差异的真实世界噪声图像上。通过使用学习到的伪ISP和噪声模型合成逼真的噪声sRGB图像，该方法实现了去噪器的有效微调，在多种真实世界数据集上显著提升性能，包括CBDNet和RIDNet等最先进模型。

ABSTRACT

The success of deep denoisers on real-world color photographs usually relies on the modeling of sensor noise and in-camera signal processing (ISP) pipeline. Performance drop will inevitably happen when the sensor and ISP pipeline of test images are different from those for training the deep denoisers (i.e., noise discrepancy). In this paper, we present an unpaired learning scheme to adapt a color image denoiser for handling test images with noise discrepancy. We consider a practical training setting, i.e., a pre-trained denoiser, a set of test noisy images, and an unpaired set of clean images. To begin with, the pre-trained denoiser is used to generate the pseudo clean images for the test images. Pseudo-ISP is then suggested to jointly learn the pseudo ISP pipeline and signal-dependent rawRGB noise model using the pairs of test and pseudo clean images. We further apply the learned pseudo ISP and rawRGB noise model to clean color images to synthesize realistic noisy images for denoiser adaption. Pseudo-ISP is effective in synthesizing realistic noisy sRGB images, and improved denoising performance can be achieved by alternating between Pseudo-ISP training and denoiser adaption. Experiments show that our Pseudo-ISP not only can boost simple Gaussian blurring-based denoiser to achieve competitive performance against CBDNet, but also is effective in improving state-of-the-art deep denoisers, e.g., CBDNet and RIDNet.

研究动机与目标

• 解决深度去噪器在测试图像中传感器噪声和ISP流水线与训练数据不同时的性能下降问题（噪声差异）。
• 仅使用一组测试噪声图像和一组无配对的干净图像，无需测试域的配对噪声-干净数据，实现对预训练去噪器的适配。
• 通过利用预训练去噪器生成伪干净图像，学习sRGB图像的逼真噪声模型和伪ISP流水线。
• 通过使用合成噪声图像交替训练伪ISP学习和去噪器微调，提升去噪性能。

提出的方法

• 使用预训练去噪器从测试噪声图像生成伪干净图像，形成无配对的测试噪声图像与伪干净图像对。
• 提出Pseudo-ISP模型，包含三个子网络：sRGB2Raw（反向ISP）、噪声估计（建模伪原始RGB中的信号相关噪声）和Raw2sRGB（正向ISP），以模拟相机流水线。
• 在无配对图像对上端到端训练Pseudo-ISP模型，以学习逼真的原始RGB噪声模型和伪ISP变换。
• 利用学习到的Pseudo-ISP和噪声模型，从干净图像合成逼真的噪声sRGB图像，生成用于去噪器微调的合成配对数据。
• 通过交替训练Pseudo-ISP和去噪器微调，迭代提升噪声建模和去噪性能。
• 将该方法应用于弱（如高斯模糊）和强（如CBDNet、RIDNet）的预训练去噪器，以证明其广泛适用性。

实验结果

研究问题

• RQ1 能否仅使用无配对的噪声和干净图像，有效将预训练去噪器适配到具有未知且不匹配的传感器噪声和ISP流水线的真实世界噪声图像上？
• RQ2 如何从无配对的测试噪声图像与伪干净图像对中学习到逼真的信号相关噪声模型和伪ISP流水线？
• RQ3 Pseudo-ISP模型合成的噪声图像在多大程度上能提升去噪器在未见测试数据集上的泛化能力和性能？
• RQ4 所提出的无配对学习方案是否在处理噪声差异方面优于标准微调或数据增强基线方法？
• RQ5 Pseudo-ISP能否在具有不同噪声特性的多样化真实世界数据集上，同时提升传统和最先进深度去噪器的性能？

主要发现

• Pseudo-ISP将基于高斯模糊的简单去噪器性能提升至与CBDNet在真实世界数据集上具有竞争力的水平。
• 该方法显著提升了CBDNet、RIDNet和PT-MWRN等最先进去噪器，在DND数据集上PSNR提升最高达0.53 dB（CBDNet）和0.17 dB（RIDNet）。
• 在SIDDPlus上，该数据集与SIDD训练集存在较大噪声差异，Pseudo-ISP实现了超过0.5 dB的显著PSNR提升，证明其强大的泛化能力。
• 即使在CC15和MIT-IP8等具有JPEG压缩和复杂去马赛克的挑战性数据集上，Pseudo-ISP仍实现了0.3–0.4 dB的PSNR提升。
• 该方法明显优于标准微调和数据增强基线，性能增益并非源于更长的训练时间。
• 使用Pseudo-ISP微调的PT-MWRN*在所有五个数据集上均取得最佳PSNR，相较于第二好的方法DIDN在SIDDPlus上领先0.44 dB。