[论文解读] Physics-based Noise Modeling for Extreme Low-light Photography

Kaixuan Wei, Ying Fu+2 more|arXiv (Cornell University)|Aug 4, 2021

Photoacoustic and Ultrasonic Imaging参考文献 83被引用 14

一句话总结

本文提出了一种基于物理的CMOS传感器噪声模型，能够精确捕捉极端低光照条件下复杂的噪声结构，包括此前被忽视的电子噪声源。通过使用该模型合成真实感训练数据，深度神经网络在性能上达到或优于使用真实配对数据训练的模型，显著减少了对稀缺真实世界训练数据的依赖。

ABSTRACT

Enhancing the visibility in extreme low-light environments is a challenging task. Under nearly lightless condition, existing image denoising methods could easily break down due to significantly low SNR. In this paper, we systematically study the noise statistics in the imaging pipeline of CMOS photosensors, and formulate a comprehensive noise model that can accurately characterize the real noise structures. Our novel model considers the noise sources caused by digital camera electronics which are largely overlooked by existing methods yet have significant influence on raw measurement in the dark. It provides a way to decouple the intricate noise structure into different statistical distributions with physical interpretations. Moreover, our noise model can be used to synthesize realistic training data for learning-based low-light denoising algorithms. In this regard, although promising results have been shown recently with deep convolutional neural networks, the success heavily depends on abundant noisy clean image pairs for training, which are tremendously difficult to obtain in practice. Generalizing their trained models to images from new devices is also problematic. Extensive experiments on multiple low-light denoising datasets -- including a newly collected one in this work covering various devices -- show that a deep neural network trained with our proposed noise formation model can reach surprisingly-high accuracy. The results are on par with or sometimes even outperform training with paired real data, opening a new door to real-world extreme low-light photography.

研究动机与目标

• 为解决因噪声建模不准确导致的极端低光照图像去噪性能不佳的问题。
• 识别并建模CMOS传感器中此前被忽视的电子噪声源，这些噪声源在低光照下显著影响原始图像质量。
• 开发一种真实的噪声合成流程，以生成适用于基于深度学习去噪的高保真训练数据。
• 减少对稀缺、设备特定的真实噪声-干净图像对的依赖，以训练深度去噪网络。
• 通过使用设备无关但物理基础坚实的噪声模型，实现跨不同相机设备的泛化能力。

提出的方法

• 该方法通过详细分析CMOS成像流程来建模噪声生成机制，识别出读出噪声、暗电流和放大器噪声等关键噪声源。
• 提出一个全面的噪声模型，将总噪声分解为具有不同统计分布的、可物理解释的物理组件。
• 该模型包含信号依赖性和异方差噪声特性，包括低光照条件下常见的非高斯分量（如条带状噪声）。
• 提出一种校准流程，通过在受控光照条件下拍摄的一组少量原始图像，估计设备特定的噪声参数。
• 利用校准后的模型生成合成的噪声原始图像，保持不同照度水平下噪声结构的物理真实性。
• 使用合成数据训练基于U-Net的去噪网络，并在真实世界基准上进行评估。

实验结果

研究问题

• RQ1 CMOS传感器中的电子噪声分量在极端低光照条件下如何导致复杂的噪声图案？
• RQ2 一个包含被忽视电子噪声源的基于物理的噪声模型，能否提升低光照去噪任务中合成训练数据的真实性？
• RQ3 仅使用本模型生成的合成数据训练的深度学习模型，在多大程度上能超越使用真实配对数据训练的模型？
• RQ4 该噪声模型在具有不同传感器特性的多种相机设备之间具有多大程度的泛化能力？
• RQ5 由该模型生成的合成数据能否提升低光照条件下下游视觉任务（如深度估计、光流估计和目标检测）的性能？

主要发现

• 仅使用本物理噪声模型生成的合成数据进行训练的深度神经网络，在SID Sony数据集上的深度估计任务中，均方根误差（RMSE）达到0.086，优于使用真实配对数据训练的基线模型（RMSE：0.091）。
• 在光流估计任务中，该模型的终点误差（EPE）为8.49，显著低于真实配对数据基线模型的10.36，表现出更优的泛化能力。
• 在目标检测任务中，该模型平均每个图像识别出3.434个目标，超过真实配对数据基线模型的3.233个，且接近参考长曝光真实值（4.225个）。
• 所提出的噪声模型成功捕捉了复杂的噪声伪影（如条带状噪声），而现有异方差高斯模型未能建模此类噪声，且在低光照图像中具有明显的感知干扰。
• 该方法实现了高性能去噪，且无需真实噪声-干净图像对，大幅减轻了在多种相机设备上训练的采样负担。
• 由该模型生成的合成数据使单一模型能够良好泛化至多个相机设备，包括训练过程中未见过的设备。