[论文解读] Self-Supervised Image Restoration with Blurry and Noisy Pairs

Zhilu Zhang, Rongjian Xu+3 more|arXiv (Cornell University)|Nov 14, 2022

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出SelfIR，一种自监督图像复原方法，通过联合利用短曝光噪声图像与长曝光模糊图像，实现更优的去噪与去模糊效果。通过挖掘这两类图像的互补性——利用噪声图像监督去模糊，利用模糊图像中的清晰区域引导去噪——该方法在无真实标签数据的情况下实现协同学习，在合成数据与真实世界数据上均达到当前最优性能。

ABSTRACT

When taking photos under an environment with insufficient light, the exposure time and the sensor gain usually require to be carefully chosen to obtain images with satisfying visual quality. For example, the images with high ISO usually have inescapable noise, while the long-exposure ones may be blurry due to camera shake or object motion. Existing solutions generally suggest to seek a balance between noise and blur, and learn denoising or deblurring models under either full- or self-supervision. However, the real-world training pairs are difficult to collect, and the self-supervised methods merely rely on blurry or noisy images are limited in performance. In this work, we tackle this problem by jointly leveraging the short-exposure noisy image and the long-exposure blurry image for better image restoration. Such setting is practically feasible due to that short-exposure and long-exposure images can be either acquired by two individual cameras or synthesized by a long burst of images. Moreover, the short-exposure images are hardly blurry, and the long-exposure ones have negligible noise. Their complementarity makes it feasible to learn restoration model in a self-supervised manner. Specifically, the noisy images can be used as the supervision information for deblurring, while the sharp areas in the blurry images can be utilized as the auxiliary supervision information for self-supervised denoising. By learning in a collaborative manner, the deblurring and denoising tasks in our method can benefit each other. Experiments on synthetic and real-world images show the effectiveness and practicality of the proposed method. Codes are available at https://github.com/cszhilu1998/SelfIR.

研究动机与目标

• 解决低光照图像复原问题，其中高ISO导致噪声，长曝光导致模糊。
• 克服现有自监督方法依赖单张失真图像、缺乏强监督信号的局限性。
• 利用短曝光噪声图像与长曝光模糊图像之间的互补性，在自监督设置下实现相互监督。
• 构建一个实用框架，适用于双摄像头或序列图像合成的真实世界数据，避免高昂的真实标签采集成本。
• 通过联合训练去噪与去模糊网络，利用图像对的内在结构，实现更优的复原性能。

提出的方法

• 使用短曝光图像（高ISO，有噪声但清晰）与长曝光图像（低ISO，模糊但几乎无噪声）作为成对输入。
• 通过PWC-Net基于光流的方法对齐两幅图像，校正由独立镜头拍摄导致的空间错位。
• 设计双编码器-共享解码器网络架构，在特征融合前分别从模糊与噪声输入中提取领域特定特征。
• 将噪声图像用作清晰度的代理信号以监督去模糊过程，与真实标签监督相比性能下降较小。
• 利用模糊图像中静态且清晰的区域作为无噪声监督信号，用于自监督去噪，增强特征学习能力。
• 实施协同学习策略，使去噪与去模糊网络通过共享优化过程相互受益于对方的监督信号。

实验结果

研究问题

• RQ1 短曝光噪声图像与长曝光模糊图像能否被有效结合，以实现自监督图像复原？
• RQ2 成对图像中噪声与模糊的互补性相比单图像自监督方法，如何提升复原性能？
• RQ3 在无真实标签的情况下，噪声图像在去模糊训练中能在多大程度上作为清晰图像的有效代理？
• RQ4 模糊图像中的清晰区域能否在真实世界场景中为自监督去噪提供可靠辅助监督？
• RQ5 所提出的协同学习框架是否在合成与真实世界图像复原任务中均优于现有自监督与有监督基线方法？

主要发现

• SelfIR在含高斯噪声与泊松噪声的合成数据集上均达到当前最优性能，优于现有自监督去噪方法。
• 在真实世界数据上，SelfIR生成的图像比基线方法更清晰、更逼真，纹理更锐利，色彩保真度更高。
• 定性对比显示，该方法能有效恢复细粒度细节，如车牌与精细纹理。
• 利用长曝光图像中的清晰区域作为辅助监督，显著提升了去噪性能，尤其在复杂噪声模式下表现更优。
• 合成数据上的定量结果表明，SelfIR在部分设置下PSNR与SSIM均高于有监督基线，表明其具有强大的泛化能力。
• 该方法通过有效利用双智能手机采集的真实世界模糊-噪声图像对（经光流对齐），验证了其实际可行性。