[论文解读] Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection

Maoxun Yuan, Yinyan Wang+1 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种翻译-尺度-旋转对齐（TSRA）模块，以解决航拍可见光-红外（RGB-IR）车辆检测中的跨模态弱对齐问题，其中不同模态间物体的位置、尺度和方向存在差异。通过预测并校正这些偏差的对齐过程，结合模态选择策略，TSFADet检测器在DroneVehicle数据集上实现了73.06%的mAP，达到当前最先进水平，有效缓解了硬件和标注引起的对齐偏差因素。

ABSTRACT

Integrating multispectral data in object detection, especially visible and infrared images, has received great attention in recent years. Since visible (RGB) and infrared (IR) images can provide complementary information to handle light variations, the paired images are used in many fields, such as multispectral pedestrian detection, RGB-IR crowd counting and RGB-IR salient object detection. Compared with natural RGB-IR images, we find detection in aerial RGB-IR images suffers from cross-modal weakly misalignment problems, which are manifested in the position, size and angle deviations of the same object. In this paper, we mainly address the challenge of cross-modal weakly misalignment in aerial RGB-IR images. Specifically, we firstly explain and analyze the cause of the weakly misalignment problem. Then, we propose a Translation-Scale-Rotation Alignment (TSRA) module to address the problem by calibrating the feature maps from these two modalities. The module predicts the deviation between two modality objects through an alignment process and utilizes Modality-Selection (MS) strategy to improve the performance of alignment. Finally, a two-stream feature alignment detector (TSFADet) based on the TSRA module is constructed for RGB-IR object detection in aerial images. With comprehensive experiments on the public DroneVehicle datasets, we verify that our method reduces the effect of the cross-modal misalignment and achieve robust detection results.

研究动机与目标

• 识别并分析航拍RGB-IR目标检测中的跨模态弱对齐问题，其中可见光与红外图像中物体在位置、尺度和方向上存在偏差。
• 解决由硬件限制（如传感器错位）和成对RGB-IR航拍图像中的人工标注误差引起的对齐偏差问题。
• 开发一种鲁棒的、端到端可训练的双流特征对齐检测器（TSFADet），以提升航拍图像中多光谱检测的准确性。
• 评估TSRA模块及其组件——对齐过程、模态选择策略和多任务抖动——在真实航拍数据集上的有效性。

提出的方法

• TSRA模块通过可学习的对齐过程，预测RGB与IR特征图之间的平移、尺度和旋转偏差，以校正跨模态对齐偏差。
• 模态选择（MS）策略动态选择每个提议框最准确的参考模态（RGB或IR），以减少来自噪声标注的误差传播。
• 多任务抖动技术通过在边界框上应用随机偏差来增强训练数据，提升模型对弱对齐输入的鲁棒性。
• TSFADet检测器将TSRA模块集成到双流特征对齐框架中，实现RGB-IR目标检测的端到端训练。
• 该方法采用ResNet-50作为主干网络，并使用标准数据增强和两阶段检测头以提升定位性能。
• 对齐过程按每个提议框应用，实现对模态间位置、尺度和角度偏差的细粒度校正。

实验结果

研究问题

• RQ1 航拍RGB-IR目标检测中跨模态弱对齐问题的成因是什么，特别是在位置、尺度和方向偏差方面？
• RQ2 如何通过深度学习模块有效校正航拍图像中RGB与红外特征之间耦合的平移、尺度和旋转偏差？
• RQ3 当某一模态的标注更可靠时，模态选择对对齐准确性的影晌如何？
• RQ4 多任务抖动能否在不同对齐偏差水平下提升对齐模块的鲁棒性？
• RQ5 所提出的基于TSRA的检测器是否在航拍RGB-IR目标检测基准上达到最先进性能？

主要发现

• TSFADet检测器在DroneVehicle数据集上实现了73.06%的mAP，优于所有对比的最先进单模态和多模态检测器。
• 模态选择策略通过为每个提议框选择最准确的参考模态，显著提升了检测性能，减少了噪声标注带来的误差。
• 多任务抖动技术增强了模型鲁棒性，通过在训练中模拟多样的对齐偏差模式，提升了对齐准确性和mAP。
• TSRA模块有效降低了跨模态对齐偏差的影响，尤其在物体方向任意、尺度变化和位置偏移的情况下表现突出。
• 与Cascade R-CNN结合后，TSFADet实现了最高的73.90% mAP，证明了其强大的泛化能力和可扩展性。
• 该方法在单张GPU上保持了18.6 FPS的高效推理速度，在精度上优于单阶段检测器，同时具备实时应用的实用性。