[论文解读] Rank-One Prior: Toward Real-Time Scene Recovery

Jun Liu, Ryan Wen Liu+2 more|arXiv (Cornell University)|Mar 31, 2021

Image Enhancement Techniques参考文献 52被引用 6

一句话总结

本文提出一种基于秩一透射率先验的实时场景恢复方法，通过强度投影估计透射率，实现对雾霾、水下及沙尘降质图像的高效且鲁棒的恢复。该方法每幅图像的时间复杂度为 O(N)，在速度、视觉质量和自然度方面优于当前最先进方法，同时保持实时性能。

ABSTRACT

Scene recovery is a fundamental imaging task for several practical applications, e.g., video surveillance and autonomous vehicles, etc. To improve visual quality under different weather/imaging conditions, we propose a real-time light correction method to recover the degraded scenes in the cases of sandstorms, underwater, and haze. The heart of our work is that we propose an intensity projection strategy to estimate the transmission. This strategy is motivated by a straightforward rank-one transmission prior. The complexity of transmission estimation is $O(N)$ where $N$ is the size of the single image. Then we can recover the scene in real-time. Comprehensive experiments on different types of weather/imaging conditions illustrate that our method outperforms competitively several state-of-the-art imaging methods in terms of efficiency and robustness.

研究动机与目标

• 解决在雾霾、水下及沙尘等恶劣天气条件下实现实时场景恢复的挑战。
• 通过提出一种基于物理模型、数据效率高的替代方法，克服深度学习方法依赖大规模配对数据集的局限性。
• 开发一种计算高效且在多种退化类型中均有效的透射率估计方法。
• 与现有基于先验和学习的方法相比，提升图像在对比度、色彩丰富度和锐度方面的视觉质量。

提出的方法

• 基于环境光在图像中可被建模为统一光谱的假设，提出一种秩一透射率先验。
• 通过将观测图像光谱投影到统一的环境光谱上，利用强度投影估计透射率。
• 将透射率估计建模为基于统一光谱的线性逼近，将复杂度降低至 O(N)，其中 N 为图像大小。
• 从整个图像中估计全局环境光 A，以定义统一光谱，从而实现鲁棒的透射率计算。
• 利用物理图像形成模型 I(x) = t(x)J(x) + t̃(x)A 重建场景辐射度 J，其中 t(x) 由强度投影推导得出。
• 端到端应用该方法，在无需训练数据或复杂网络的情况下实现实时退化图像恢复。

实验结果

研究问题

• RQ1 秩一透射率先验是否能够实现实时场景恢复中快速且准确的透射率估计？
• RQ2 基于统一环境光谱的强度投影策略与 DCP 等现有先验相比，在鲁棒性和效率方面表现如何？
• RQ3 在数据稀缺场景（如沙尘成像）中，非学习的基于物理的方法在多大程度上能超越深度学习方法？
• RQ4 在雾霾、水下及沙尘等多样退化类型中，所提方法是否能比最先进方法更好地保持自然色彩与对比度？

主要发现

• 所提方法实现 O(N) 复杂度的实时性能，适用于视频监控和自动驾驶等实际部署场景。
• 视觉结果表明，与 DCP、MSCNN、LDCP 和 AODNet 相比，本方法在色彩丰富度、锐度和对比度方面表现更优，尤其在天空区域表现突出。
• 去雾结果中的天空区域显得更加自然真实，而 DCP 产生的异常蓝色天空和 LDCP 的不真实结果则被有效避免。
• 在处理大面积天空区域时，本方法优于 DCP，后者因缺乏零强度像素而失效。
• 在 RESIDE 数据集上的结果表明，尽管无需任何训练数据，本方法在性能上仍可与 MSCNN 和 AODNet 等深度学习方法相媲美。
• 该方法在多种退化类型（雾霾、水下、沙尘）中均表现出鲁棒性，持续提升视觉质量。