[论文解读] Visual Infrared Video Fusion for Night Vision using Background Estimation

Anjali Malviya, Sunil Bhirud|arXiv (Cornell University)|Apr 26, 2010

Advanced Image Fusion Techniques参考文献 7被引用 6

一句话总结

本文提出了一种视频融合框架，通过估计背景、在去噪后的红外（IR）视频中检测行人，并将其与RGB视频融合，从而结合可见光和红外（IR）视频流以增强夜间视觉效果。该方法有效提升了低光照条件下人形的可见度，在监控应用中表现出显著的增强效果，通过鲁棒的基于目标的融合实现。

ABSTRACT

Video fusion is a process that combines visual data from different sensors to obtain a single composite video preserving the information of the sources. The availability of a system, enhancing human ability to perceive the observed scenario, is crucial to improve the performance of a surveillance system. The infrared (IR) camera captures thermal image of object in night-time environment, when only limited visual information can be captured by RGB camera. The fusion of data recorded by an IR sensor and a visible RGB camera can produce information otherwise not obtainable by viewing the sensor outputs separately. In this paper we consider the problem of fusing two video streams acquired by an RGB camera and an IR sensor. The pedestrians, distinctly captured by IR video, are separated and fused with the RGB video. The algorithms implemented involve estimation of the background, followed by detection of object from the IR Video, after necessary denoising. Finally a suitable fusion algorithm is employed to combine the extracted pedestrians with the visual output. The obtained results clearly demonstrate the effectiveness of the proposed video fusion scheme, for night vision.

研究动机与目标

• 通过融合可见光与红外视频流，提升夜间视觉监控效果。
• 解决在夜间场景中RGB摄像头失效时因可见度低带来的挑战。
• 利用背景估计与去噪技术，从红外视频中检测并提取行人。
• 开发一种融合策略，以保留两种传感器的显著信息，生成更清晰的合成输出。

提出的方法

• 使用统计建模方法估计红外（IR）视频流中的背景，以区分运动物体。
• 对红外视频应用去噪技术，以提高目标检测的准确性。
• 通过从估计的背景中分割前景物体，检测红外视频中的行人。
• 使用融合算法将检测到的行人与可见光（RGB）视频流结合，以增强低光照条件下的可见度。
• 采用空间与时间对齐技术，确保两路视频流中对应区域的准确融合。
• 采用加权融合方法，优先考虑红外数据用于行人检测，同时优先使用可见光数据以保留纹理与上下文信息。

实验结果

研究问题

• RQ1 背景估计在低光照条件下如何提升红外视频中的行人检测效果？
• RQ2 何种去噪方法能最优化地提升红外视频中目标检测的准确性？
• RQ3 如何有效融合可见光与红外视频流，以保留互补信息？
• RQ4 何种融合策略能最大化夜间监控场景中人形的可见度？
• RQ5 所提出方法与传统单传感器或简单融合方法相比，在真实夜间视觉应用中的表现如何？

主要发现

• 所提出的背景估计方法在噪声大、对比度低的环境中，仍能成功分离出红外视频中的移动行人。
• 去噪显著提高了红外流中行人检测的准确性，减少了误报。
• 融合算法有效结合了红外检测结果与可见光视频，生成了更清晰的合成输出，显著增强了人形的可见度。
• 该方法在实时夜间视觉场景中表现出稳健性能，优于单传感器和基础融合技术。
• 结果表明，将红外检测结果与可见光视频融合，既能保留上下文细节，又能突出人员的热成像特征。
• 系统在监控有效性方面实现了显著提升，尤其在夜间检测人类方面表现突出。