[论文解读] TFDet: Target-Aware Fusion for RGB-T Pedestrian Detection

Xue Zhang, Xiaohan Zhang+6 more|arXiv (Cornell University)|May 26, 2023

Advanced Image Fusion Techniques参考文献 86被引用 6

一句话总结

TFDet 提出了一种针对 RGB-T 行人检测的目标感知融合策略，通过增强特征对比度来抑制噪声融合特征带来的误报。通过集成特征融合模块、特征精炼模块以及相关性最大化损失，TFDet 在 KAIST 和 LLVIP 基准上实现了最先进性能，尤其在低光照条件下表现优异，且推理速度与先前的 SOTA 方法相当。

ABSTRACT

Pedestrian detection plays a critical role in computer vision as it contributes to ensuring traffic safety. Existing methods that rely solely on RGB images suffer from performance degradation under low-light conditions due to the lack of useful information. To address this issue, recent multispectral detection approaches have combined thermal images to provide complementary information and have obtained enhanced performances. Nevertheless, few approaches focus on the negative effects of false positives caused by noisy fused feature maps. Different from them, we comprehensively analyze the impacts of false positives on the detection performance and find that enhancing feature contrast can significantly reduce these false positives. In this paper, we propose a novel target-aware fusion strategy for multispectral pedestrian detection, named TFDet. TFDet achieves state-of-the-art performance on two multispectral pedestrian benchmarks, KAIST and LLVIP. TFDet can easily extend to multi-class object detection scenarios. It outperforms the previous best approaches on two multispectral object detection benchmarks, FLIR and M3FD. Importantly, TFDet has comparable inference efficiency to the previous approaches, and has remarkably good detection performance even under low-light conditions, which is a significant advancement for ensuring road safety.

研究动机与目标

• 解决 RGB 单模态行人检测器在低光照条件下性能下降的问题。
• 识别并缓解多光谱融合中由噪声融合特征引起的误报负面影响。
• 开发一种增强行人判别特征同时抑制背景杂波的融合策略。
• 在计算效率方面实现最先进检测精度，适用于实时交通安防应用。

提出的方法

• 提出一种目标感知融合策略，利用配对的 RGB 和热成像特征中的并行通道与跨通道相似性。
• 引入特征融合模块（FFM）以聚合两种模态的互补特征。
• 采用特征精炼模块（FRM），包含特征分类单元和特征对比增强单元，以区分目标与非目标特征。
• 设计一种相关性最大化损失函数，包含分割损失（$\mathcal{L}_{\rm seg}$）和负相关损失（$\mathcal{L}_{\rm neg\_corr}$），以提升特征可分性。
• 将该融合策略应用于单阶段和两阶段检测器，确保灵活性与广泛适用性。
• 采用 VGG-16 与 Faster R-CNN 作为主干网络，在 KAIST 和 LLVIP 数据集上按照标准协议进行评估。

实验结果

研究问题

• RQ1 噪声融合特征在多光谱行人检测中如何导致误报？
• RQ2 通过增强目标区域与背景区域之间的特征对比度，是否能显著减少 RGB-T 融合中的误报？
• RQ3 与传统融合方法相比，目标感知融合策略在低光照条件下能多大程度上提升检测性能？
• RQ4 所提出的相关性最大化损失函数如何影响特征可分性与检测精度？
• RQ5 所提出的融合策略是否能在实现 SOTA 性能的同时保持高推理速度？

主要发现

• 在 KAIST 数据集上，TFDet 的漏检率为 4.47%，显著优于先前方法。
• 在 LLVIP 数据集上，TFDet 达到最高的 AP（75.3%）和 AP@IoU=0.75（68.9%），表明其具有优越的定位精度。
• 在 KAIST 的夜间子集（RGB 图像严重退化）中，TFDet 将漏检率降低至 4.47%，展现出在低光照条件下的鲁棒性。
• 消融实验证实，结合 FFM、FRM 和相关性最大化损失可使漏检率从 8.57% 降低至 4.47%，且误报置信度高于 0.3 的样本减少 40%。
• TFDet 保持了具有竞争力的推理速度，在单张 RTX 3060 GPU 上每张图像耗时 15.8ms，与 SOTA 方法 DCMNet 相当。
• 定性结果表明，TFDet 在白天和夜间场景中均能成功检测所有行人，而对比方法则产生多个误报和漏检。