[论文解读] Semantic Segmentation for Thermal Images: A Comparative Survey

Zülfiye Kütük, Görkem Algan|arXiv (Cornell University)|May 26, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本综述对基于深度学习的热成像语义分割方法进行了全面分析，按输入模态（仅热成像 vs. RGB-T 融合）对方法进行分类。通过在关键数据集上使用 mIoU 等指标评估最先进模型，发现边缘引导和注意力机制架构在专用基准上实现了高达 0.939 mIoU 的性能，凸显了在低能见度条件下仅使用热成像进行语义分割的潜力。

ABSTRACT

Semantic segmentation is a challenging task since it requires excessively more low-level spatial information of the image compared to other computer vision problems. The accuracy of pixel-level classification can be affected by many factors, such as imaging limitations and the ambiguity of object boundaries in an image. Conventional methods exploit three-channel RGB images captured in the visible spectrum with deep neural networks (DNN). Thermal images can significantly contribute during the segmentation since thermal imaging cameras are capable of capturing details despite the weather and illumination conditions. Using infrared spectrum in semantic segmentation has many real-world use cases, such as autonomous driving, medical imaging, agriculture, defense industry, etc. Due to this wide range of use cases, designing accurate semantic segmentation algorithms with the help of infrared spectrum is an important challenge. One approach is to use both visible and infrared spectrum images as inputs. These methods can accomplish higher accuracy due to enriched input information, with the cost of extra effort for the alignment and processing of multiple inputs. Another approach is to use only thermal images, enabling less hardware cost for smaller use cases. Even though there are multiple surveys on semantic segmentation methods, the literature lacks a comprehensive survey centered explicitly around semantic segmentation using infrared spectrum. This work aims to fill this gap by presenting algorithms in the literature and categorizing them by their input images.

研究动机与目标

• 为解决目前缺乏专注于使用热红外图像进行语义分割的综合性综述的问题。
• 系统性地对使用热成像作为输入的基于深度学习的语义分割方法进行分类与比较。
• 通过标准化指标（如平均交并比 mIoU）在多个基准数据集上评估这些方法的性能。
• 分析热成像语义分割特有的挑战，包括热交叉、低分辨率以及标注数据集有限等问题。
• 识别研究空白与未来方向，如合成数据生成和多模态输入的改进融合策略。

提出的方法

• 将现有方法分为两大类：仅使用热成像图像的方法与使用融合的 RGB 和热成像（RGB-T）输入的方法。
• 回顾并分类深度神经网络架构，包括编码器-解码器结构、U-Net 变体，以及采用空洞卷积或空间金字塔池化的模型。
• 引入基于边缘的损失函数和相关性矩阵，以增强边界检测能力并降低热成像中的噪声敏感性。
• 采用跳跃连接和多路径设计（如 BiseNetV2）以保留空间细节并提升特征融合效果。
• 利用从标签梯度提取的边缘图来引导分割，从而提升在模糊边界上的准确性。
• 应用加权 Sigmoid 交叉熵损失，以提升在低照度条件下的性能，尤其适用于行人和车辆分割。

Figure 2 : Some prediction results of MFNet [ 10 ] and Segnet [ 1 ] on the MFNet dataset [ 10 ]

实验结果

研究问题

• RQ1 最先进的热成像语义分割模型中，关键的网络架构设计与损失函数是什么？
• RQ2 在 mIoU 和推理速度方面，仅热成像分割模型与 RGB-T 融合模型的性能表现如何比较？
• RQ3 热成像语义分割面临的主要挑战是什么？当前方法如何应对这些挑战？
• RQ4 用于评估热成像分割的最常用数据集有哪些？不同基准上模型的性能表现有何差异？
• RQ5 在存在热交叉和低分辨率伪影的情况下，哪些技术最有效地提升了分割精度？

主要发现

• 文献 [17] 在 SODA 数据集上实现了 0.619 mIoU 的性能，优于文献 [5] 的 0.571 mIoU。
• 在 SCUT-Seg 夜间驾驶数据集上，[35] 实现了 0.676 mIoU 的性能，推理速度为 32.52 FPS，而 [23] 在同一基准上报告了 0.667 mIoU 的结果。
• 在 MFnet 数据集上，[35] 仅使用热成像图像即实现了 0.519 mIoU，与使用 RGB-T 融合的 [6]（0.504 mIoU）和 RTFNet-50（0.503 mIoU）性能相当。
• 文献 [31] 的模型在其自建数据集上实现了 0.939 mIoU，显著优于 [5]、[21] 和 [15]，表明其对强度不均匀性和噪声具有强鲁棒性。
• 在 LII 数据集上，[7] 实现了 0.912 mIoU，显著优于 [4] 的 0.469 mIoU，尤其在弱光照条件下表现突出。
• 在 NPU_CS_UAV_IR_DATA 数据集上，[20] 的平均精度与 [11]、[5] 和 [1] 相当，且推理速度略快。