[论文解读] RGB-D And Thermal Sensor Fusion: A Systematic Literature Review

Martin Brenner, Napoleon H. Reyes+2 more|arXiv (Cornell University)|May 19, 2023

Infrared Target Detection Methodologies被引用 4

一句话总结

本篇系统性文献回顾综合了RGB-D与热成像传感器数据融合的最先进技术，评估了校准、三维重建、分割以及基于深度学习的融合方法。研究发现，公开可用的三模态数据集存在显著缺口，尽管深度学习提升了融合性能，但由于计算需求高，实时处理仍具挑战性，尤其在中层融合架构中更为明显。

ABSTRACT

In the last decade, the computer vision field has seen significant progress in multimodal data fusion and learning, where multiple sensors, including depth, infrared, and visual, are used to capture the environment across diverse spectral ranges. Despite these advancements, there has been no systematic and comprehensive evaluation of fusing RGB-D and thermal modalities to date. While autonomous driving using LiDAR, radar, RGB, and other sensors has garnered substantial research interest, along with the fusion of RGB and depth modalities, the integration of thermal cameras and, specifically, the fusion of RGB-D and thermal data, has received comparatively less attention. This might be partly due to the limited number of publicly available datasets for such applications. This paper provides a comprehensive review of both, state-of-the-art and traditional methods used in fusing RGB-D and thermal camera data for various applications, such as site inspection, human tracking, fault detection, and others. The reviewed literature has been categorised into technical areas, such as 3D reconstruction, segmentation, object detection, available datasets, and other related topics. Following a brief introduction and an overview of the methodology, the study delves into calibration and registration techniques, then examines thermal visualisation and 3D reconstruction, before discussing the application of classic feature-based techniques as well as modern deep learning approaches. The paper concludes with a discourse on current limitations and potential future research directions. It is hoped that this survey will serve as a valuable reference for researchers looking to familiarise themselves with the latest advancements and contribute to the RGB-DT research field.

研究动机与目标

• 为计算机视觉应用中RGB-D与热成像传感器融合技术提供全面且系统性的综述。
• 识别并分析RGB-DT模态在传感器校准、数据对齐及融合策略方面面临的关键挑战。
• 评估传统基于特征的方法与现代基于深度学习的融合方法的性能表现。
• 强调公开可用的三模态（RGB-D-T）数据集稀缺是推动该领域发展的主要瓶颈。
• 概述未来研究方向，特别是实时处理能力与融合模型鲁棒性的提升。

提出的方法

• 采用PRISMA框架开展系统性文献回顾，以识别关于RGB-D与热成像传感器融合的同行评审研究。
• 根据技术领域对研究进行分类：三维重建、分割、目标检测、校准及数据集可用性。
• 在早期、晚期与中层融合三个融合层级上分析技术，特别关注深度学习架构。
• 评估了传统基于特征的方法与现代深度学习模型（包括CNN与视觉Transformer）的性能。
• 评估图像对齐、降噪及热成像可视化等预处理步骤对特征可见性的影响。
• 分析聚焦于融合模型的计算效率、实时性能以及泛化能力。

实验结果

研究问题

• RQ1 在计算机视觉应用中，融合RGB-D与热成像传感器数据的主流方法是什么？
• RQ2 校准与配准技术如何影响多模态感知系统的准确性？
• RQ3 在RGB-DT系统中，早期、晚期与中层融合策略之间的性能权衡是什么？
• RQ4 为何公开可用的三模态数据集缺乏是制约RGB-DT研究发展的关键因素？
• RQ5 利用深度学习实现实时、准确且鲁棒的传感器融合面临哪些主要挑战？

主要发现

• 基于深度学习的融合方法在目标检测与分割任务中，其准确性和鲁棒性均优于传统基于特征的方法。
• 中层融合策略虽然更准确，但通常帧率低于5 FPS，导致实时部署困难。
• 尽管技术不断进步，目前尚无模型能有效实现RGB、深度与热成像三者数据的联合融合，尤其在使用视觉Transformer或类似先进架构方面。
• 公开可用数据集的匮乏——目前仅识别出VDT-2048为合适的三模态数据集——严重阻碍了该领域的发展。
• 图像对齐与热成像可视化等预处理步骤对于提升深度神经网络中特征的可见性至关重要。
• 当前的演示攻击检测（PAD）方法对训练数据存在偏差，泛化能力仍是关键挑战，尤其在未知攻击类型下更为明显。