[论文解读] Realistic Large-Scale Fine-Depth Dehazing Dataset from 3D Videos

Ruoteng Li, Xiaoyi Zhang+2 more|arXiv (Cornell University)|Apr 18, 2020

Image Enhancement Techniques参考文献 53被引用 6

一句话总结

该论文提出了LSFD，一个从高清3D电影中衍生出的大规模、逼真的去雾数据集，利用立体视觉获取的深度信息渲染出物理上准确的雾霾效果。该数据集显著提升了去雾模型的泛化能力，基于LSFD微调的最先进方法在O-Haze基准测试中，PSNR相比在RESIDE-OTS上训练的方法最高提升1.36 dB，证明了其在真实户外场景中更优的性能表现和更小的域差距。

ABSTRACT

Image dehazing is one of the important and popular topics in computer vision and machine learning. A reliable real-time dehazing method with reliable performance is highly desired for many applications such as autonomous driving, security surveillance, etc. While recent learning-based methods require datasets containing pairs of hazy images and clean ground truth, it is impossible to capture them in real scenes. Many existing works compromise this difficulty to generate hazy images by rendering the haze from depth on common RGBD datasets using the haze imaging model. However, there is still a gap between the synthetic datasets and real hazy images as large datasets with high-quality depth are mostly indoor and depth maps for outdoor are imprecise. In this paper, we complement the existing datasets with a new, large, and diverse dehazing dataset containing real outdoor scenes from High-Definition (HD) 3D movies. We select a large number of high-quality frames of real outdoor scenes and render haze on them using depth from stereo. Our dataset is clearly more realistic and more diversified with better visual quality than existing ones. More importantly, we demonstrate that using this dataset greatly improves the dehazing performance on real scenes. In addition to the dataset, we also evaluate a series state of the art methods on the proposed benchmarking datasets.

研究动机与目标

• 为解决缺乏真实、大规模且多样化的户外去雾数据集，尤其是高质量深度图的问题。
• 通过利用具有精确立体深度的真实3D电影画面，克服合成数据集与真实雾霾图像之间的域差距。
• 通过更真实的训练分布，提升基于深度学习的去雾模型的泛化能力与真实世界性能。
• 为评估去雾模型在更贴近真实户外条件的数据集上的表现，提供一个基准测试集。

提出的方法

• 从22部高清3D电影中选取2,000张高质量、真实户外场景的图像帧，分辨率为1920×1080，总时长约40小时。
• 利用多视角立体重建技术，从立体图像对中生成密集且精确的深度图，确保物理上的合理性。
• 应用Koschmieder的大气散射模型（I(x) = J(x)e^(-βd(x)) + A(1 - e^(-βd(x))))，结合估计的深度与大气光，渲染出逼真的雾霾效果。
• 采用MaxRGB方法进行大气光估计，并利用预训练的光流模型辅助深度图生成，以确保结果的一致性与真实性。
• 构建一个多样化、高分辨率的数据集，涵盖城市天际线和复杂深度结构等多类户外场景。
• 通过在LSFD上训练并评估最先进去雾模型，建立基准测试，比较其在O-Haze及其他真实数据集上的性能表现。

实验结果

研究问题

• RQ1 从真实3D电影中衍生出的大规模、逼真去雾数据集，是否能提升基于深度学习的去雾模型在真实户外场景中的泛化能力？
• RQ2 去雾数据集中深度图的质量与真实感，如何影响模型性能与域泛化能力？
• RQ3 在具有物理准确、立体视觉生成的深度图的数据集上进行训练，是否能相比使用估计深度的合成数据集，带来在真实雾霾图像上的更好性能？
• RQ4 与现有基准如RESIDE-OTS和O-Haze相比，所提出的LSFD数据集在模型泛化能力与定量指标方面表现如何？

主要发现

• 在O-Haze基准测试中，基于LSFD训练的模型PSNR达到16.65，SSIM为0.6380，优于在RESIDE-OTS上训练的模型（PSNR: 14.55，SSIM: 0.5357）。
• 在LSFD上训练的4K去雾模型在O-Haze上的PSNR达到17.01，SSIM为0.6836，相较在RESIDE-OTS上训练的模型（PSNR: 15.36，SSIM: 0.5792）有显著性能提升。
• 图7中的视觉对比结果表明，LSFD训练的模型生成的去雾结果更清晰、更自然，细节与纹理保留更佳。
• 在LSFD与RESIDE-OTS上训练的模型之间性能差距，凸显了现有户外数据集中低质量深度图所导致的域偏移问题。
• LSFD数据集展现出更高的多样性与更低的过拟合风险，表现为PSNR/SSIM饱和度低于RESIDE-β，表明其泛化能力更广。
• 基准测试结果表明，LSFD更真实地反映了真实世界户外条件，是去雾研究中更优的训练与评估资源。