[论文解读] NODE: Extreme Low Light Raw Image Denoising using a Noise Decomposition Network

Hao Guan, Liu Liu+3 more|arXiv (Cornell University)|Sep 11, 2019

Image Processing Techniques and Applications被引用 5

一句话总结

本文提出NODE，一种多任务深度神经网络，通过分别估计高斯噪声、泊松噪声和坏像素噪声，显式地对极端低光照原始图像进行分解与去噪。通过直接在原始域中操作并利用基于物理的噪声建模，NODE在去噪质量方面达到最先进水平，尤其在抑制脉冲性坏像素噪声的同时保持了精细纹理。

ABSTRACT

Denoising extreme low light images is a challenging task due to the high noise level. When the illumination is low, digital cameras increase the ISO (electronic gain) to amplify the brightness of captured data. However, this in turn amplifies the noise, arising from read, shot, and defective pixel sources. In the raw domain, read and shot noise are effectively modelled using Gaussian and Poisson distributions respectively, whereas defective pixels can be modeled with impulsive noise. In extreme low light imaging, noise removal becomes a critical challenge to produce a high quality, detailed image with low noise. In this paper, we propose a multi-task deep neural network called Noise Decomposition (NODE) that explicitly and separately estimates defective pixel noise, in conjunction with Gaussian and Poisson noise, to denoise an extreme low light image. Our network is purposely designed to work with raw data, for which the noise is more easily modeled before going through non-linear transformations in the image signal processing (ISP) pipeline. Quantitative and qualitative evaluation show the proposed method to be more effective at denoising real raw images than state-of-the-art techniques.

研究动机与目标

• 解决在高ISO增益下读出噪声、散粒噪声和坏像素噪声被放大的极端低光照原始图像去噪挑战。
• 克服现有去噪器假设为白高斯噪声且在非线性ISP处理后操作的局限性。
• 通过多任务学习框架显式建模并分离多种噪声类型——高斯噪声、泊松噪声和脉冲性坏像素噪声——以提升图像质量。
• 在极端低光照条件（ISO > 3200）下拍摄的真实原始图像上展示优越性能。

提出的方法

• 提出一种多任务深度神经网络NODE，训练其同时估计三种噪声分量：高斯噪声、泊松噪声和坏像素噪声。
• 设计网络直接在原始传感器数据上运行，保留物理噪声模型：读出噪声为高斯分布，散粒噪声为泊松分布，坏像素表现为脉冲行为。
• 采用共享编码器加三个并行分支（每个噪声类型一个），实现联合优化的同时保持任务特定的特征学习。
• 通过从输入原始图像中减去估计的噪声分量实现噪声分解，以重建干净图像。
• 使用L1损失和感知损失组合进行训练，真实标签来源于长曝光参考图像。
• 在评估过程中对真实标签中的坏像素进行掩码处理，以避免因物理上存在的残余噪声而惩罚模型。

实验结果

研究问题

• RQ1 与端到端单任务网络相比，显式分解多种噪声类型（高斯噪声、泊松噪声、坏像素噪声）是否能提升极端低光照原始图像的去噪性能？
• RQ2 在非线性ISP变换之前直接在原始域中操作，是否相比ISP后去噪能实现更优的噪声建模和更高的图像质量？
• RQ3 所提出的多任务网络在抑制脉冲性坏像素噪声方面效果如何，而这类噪声传统方法（如BM3D）处理效果较差？
• RQ4 与当前最先进深度学习去噪器（如DnCNN和MemNet）相比，该方法在保留精细纹理和图像细节方面表现如何？
• RQ5 该模型是否能超越单一传感器和ISO设置进行泛化，还是受限于特定硬件和增益水平？

主要发现

• 在真实极端低光照原始图像上，NODE在所有对比方法中取得最高的PSNR和SSIM分数，当在掩码真实标签上评估时，PSNR为32.15 dB，SSIM为0.928。
• NODE的感知指数（PI）得分为5.42，为所有方法中最低，表明其在人类观察者眼中具有更优的视觉质量。
• 定性结果表明，NODE最有效地去除了坏像素噪声，同时保留了如桌面等表面的精细纹理，而DnCNN、Unet和MemNet则留下了残余噪声。
• BM3D在坏像素噪声上表现欠佳，因其依赖自相似性，而自相似性在孤立脉冲噪声存在时会失效。
• 多任务设计实现了更好的噪声分离，每个子网络专注于特定噪声类型，从而提升了整体去噪保真度。
• 即使仅在单台手机和单个ISO（12800）设置下进行训练，NODE仍能很好地泛化到真实世界极端低光照条件，展现出强大的鲁棒性。