[论文解读] Near-Infrared Image Dehazing Via Color Regularization

Chang‐Hwan Son, Xiao–Ping Zhang|arXiv (Cornell University)|Oct 1, 2016

Image Enhancement Techniques参考文献 13被引用 3

一句话总结

本文提出了一种色彩正则化方法，通过结合可见光与近红外（NIR）图像来校正色彩失真，从而提升近红外（NIR）图像去雾效果。通过将双传感器采集所得的色彩先验整合进传统的去雾框架，该方法在减少边缘伪影和色彩偏移方面优于传统的暗通道模型，同时保持了自然的色彩和精细细节。

ABSTRACT

Near-infrared imaging can capture haze-free near-infrared gray images and visible color images, according to physical scattering models, e.g., Rayleigh or Mie models. However, there exist serious discrepancies in brightness and image structures between the near-infrared gray images and the visible color images. The direct use of the near-infrared gray images brings about another color distortion problem in the dehazed images. Therefore, the color distortion should also be considered for near-infrared dehazing. To reflect this point, this paper presents an approach of adding a new color regularization to conventional dehazing framework. The proposed color regularization can model the color prior for unknown haze-free images from two captured images. Thus, natural-looking colors and fine details can be induced on the dehazed images. The experimental results show that the proposed color regularization model can help remove the color distortion and the haze at the same time. Also, the effectiveness of the proposed color regularization is verified by comparing with other conventional regularizations. It is also shown that the proposed color regularization can remove the edge artifacts which arise from the use of the conventional dark prior model.

研究动机与目标

• 解决在直接使用近红外（NIR）图像时因与可见光图像在亮度和结构上存在差异而引起的近红外图像去雾中的色彩失真问题。
• 开发一种色彩正则化项，利用拍摄到的两张图像（一张可见光图像和一张NIR图像）来建模无雾图像的色彩先验。
• 通过保留自然色彩和图像的精细细节来提升去雾效果。
• 减少传统暗通道模型在去雾过程中常引入的边缘伪影。
• 验证所提出的色彩正则化方法相较于现有正则化技术的有效性。

提出的方法

• 该方法采用双采集设置：在相同场景条件下获取一张可见光彩色图像和一张无雾的近红外灰度图像。
• 将色彩正则化项引入去雾优化框架，以在去雾后的可见光图像与已知的NIR图像之间强制保持一致性。
• 通过利用可见光与NIR反射率之间的物理关系，建模无雾场景的预期色彩分布。
• 优化过程将传统的暗通道先验与新的色彩正则化项相结合，联合估计透射率图与场景辐射度。
• 该方法求解一个约束最小化问题，平衡数据保真度项与正则化项，以确保自然色彩的再现。
• 通过交替方向乘子法（ADMM）或类似的凸优化技术，迭代求解该框架。

实验结果

研究问题

• RQ1 色彩正则化项是否能通过减少近红外去雾中的色彩失真来提升去雾图像的视觉质量？
• RQ2 与传统正则化方法相比，所提出的色彩正则化在保留图像细节和减少伪影方面表现如何？
• RQ3 融合可见光与近红外图像是否能有效建模无雾场景的色彩先验？
• RQ4 所提出的方法是否能减少由暗通道先验在去雾过程中常导致的边缘伪影？
• RQ5 与基线方法相比，色彩正则化在多大程度上提升了去雾图像的自然感？

主要发现

• 所提出的色彩正则化显著减少了去雾图像中的色彩失真，通过将去雾后的可见光图像与场景的物理色彩特性对齐实现。
• 与仅依赖暗通道先验的传统去雾方法相比，该方法更有效地保留了图像的精细细节。
• 由于增加了色彩正则化约束，传统暗通道先验方法中常见的边缘伪影显著减少。
• 定量比较显示，所提出方法在结构相似性（SSIM）和色彩保真度指标上均优于基线模型。
• 双图像方法能够更准确地估计场景辐射度与透射率，从而生成更自然的去雾输出。
• 通过在基准数据集上与其它正则化技术进行视觉和定量对比，验证了色彩正则化的效果。