[论文解读] Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes

Huanjing Yue, Cong Cao+3 more|arXiv (Cornell University)|Mar 31, 2020

Image and Signal Denoising Methods参考文献 45被引用 7

一句话总结

本文提出RViDeNet，一种监督式原始视频去噪方法，利用在ISO 1600–25600下捕获的55组动态噪声-干净视频对的新型基准数据集。通过将Bayer图案的原始视频分解为RGBG子序列，并利用非局部注意力机制与时间融合技术捕捉空间、通道和时间相关性，该方法在原始视频与sRGB领域均实现了最先进性能，在PSNR上相比现有视频与图像去噪模型最高提升1.12 dB。

ABSTRACT

In recent years, the supervised learning strategy for real noisy image denoising has been emerging and has achieved promising results. In contrast, realistic noise removal for raw noisy videos is rarely studied due to the lack of noisy-clean pairs for dynamic scenes. Clean video frames for dynamic scenes cannot be captured with a long-exposure shutter or averaging multi-shots as was done for static images. In this paper, we solve this problem by creating motions for controllable objects, such as toys, and capturing each static moment for multiple times to generate clean video frames. In this way, we construct a dataset with 55 groups of noisy-clean videos with ISO values ranging from 1600 to 25600. To our knowledge, this is the first dynamic video dataset with noisy-clean pairs. Correspondingly, we propose a raw video denoising network (RViDeNet) by exploring the temporal, spatial, and channel correlations of video frames. Since the raw video has Bayer patterns, we pack it into four sub-sequences, i.e RGBG sequences, which are denoised by the proposed RViDeNet separately and finally fused into a clean video. In addition, our network not only outputs a raw denoising result, but also the sRGB result by going through an image signal processing (ISP) module, which enables users to generate the sRGB result with their favourite ISPs. Experimental results demonstrate that our method outperforms state-of-the-art video and raw image denoising algorithms on both indoor and outdoor videos.

研究动机与目标

• 为解决动态场景中真实噪声-干净视频对的缺乏问题，该问题阻碍了原始视频去噪中的监督学习。
• 开发一种能有效利用原始视频中时间、空间与通道相关性的方法，以实现更优的去噪性能。
• 通过集成ISP模块实现灵活输出，同时生成去噪后的原始数据与sRGB结果。
• 为未来原始视频去噪研究建立可复现且可定量评估的基准。

提出的方法

• 作者通过手动控制物体运动并为每个静态时刻捕获多个高ISO曝光，然后对齐并平均以生成干净帧，构建了基准数据集。
• 将原始视频拆分为四个RGBG子序列，以保留Bayer图案结构并支持独立序列处理。
• RViDeNet架构应用预去噪、帧对齐、非局部注意力与时间融合模块，以捕捉帧间时空相关性。
• 在空间、通道与时间维度上应用非局部注意力机制，以建模原始视频数据中的长程依赖关系。
• 将去噪后的RGBG序列进行空间融合，并通过可学习的ISP模块生成sRGB输出，支持用户自定义。
• 网络在真实噪声-干净视频对上端到端训练，同时接受原始数据与sRGB监督，实现去噪与色彩保真度的联合优化。

实验结果

研究问题

• RQ1 当在真实动态场景的噪声-干净视频对上进行训练时，监督学习方法能否实现更优的视频去噪性能？
• RQ2 在原始视频中，时空与通道相关性能否被有效利用，从而在去噪性能上超越单帧或基于sRGB的方法？
• RQ3 所提出的RViDeNet在定量与定性指标上，相较于最先进视频与原始图像去噪模型，优势有多大？
• RQ4 集成灵活ISP模块是否能使用户在无需微调的情况下生成偏好的sRGB输出？
• RQ5 当在合成数据上微调时，该模型的泛化能力如何？其在真实低光照场景中是否仍能保持性能？

主要发现

• 在具有真实标签的室内视频上，RViDeNet在原始域中实现43.97的PSNR与0.9874的SSIM，相比次优方法DIDN提升0.72 dB（PSNR）。
• 在sRGB域中，RViDeNet实现39.95的PSNR与0.9792的SSIM，相比DIDN提升1.12 dB（PSNR），相比EDVR提升近1 dB。
• 消融实验表明，使用真实数据训练的完整RViDeNet模型显著优于仅在合成数据上训练的变体（记为Ours⁻），表明其具备有效泛化能力。
• 视觉对比显示，RViDeNet能更有效地去除噪声，同时保留精细细节并维持时间一致性，而EDVR与DIDN的结果则出现过度平滑。
• 在无真实标签的户外视频上进行的用户研究证实，RViDeNet生成的结果更具视觉吸引力，纹理恢复更好，闪烁现象更少。
• 所提出的55个动态视频序列数据集（ISO 1600–25600）为监督式原始视频去噪提供了首个真实世界基准，支持可复现的评估。