[论文解读] Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection

Lu Zhang, Xiangyu Zhu+4 more|arXiv (Cornell University)|Jan 9, 2019

Video Surveillance and Tracking Methods参考文献 67被引用 25

一句话总结

本文提出 AR-CNN，一种新颖的端到端多光谱行人检测框架，旨在解决因位置偏移导致的彩色-热成像图像对弱对齐这一关键挑战。该方法引入了区域特征对齐（RFA）模块以预测并校正空间错位，采用置信度感知融合方法实现自适应特征重加权，并提出 RoI 扰动策略以增强模型鲁棒性，在 KAIST 和 CVC-14 数据集上实现了最先进性能，且对位移变化的敏感度显著降低。

ABSTRACT

Multispectral pedestrian detection has shown great advantages under poor illumination conditions, since the thermal modality provides complementary information for the color image. However, real multispectral data suffers from the position shift problem, i.e. the color-thermal image pairs are not strictly aligned, making one object has different positions in different modalities. In deep learning based methods, this problem makes it difficult to fuse the feature maps from both modalities and puzzles the CNN training. In this paper, we propose a novel Aligned Region CNN (AR-CNN) to handle the weakly aligned multispectral data in an end-to-end way. Firstly, we design a Region Feature Alignment (RFA) module to capture the position shift and adaptively align the region features of the two modalities. Secondly, we present a new multimodal fusion method, which performs feature re-weighting to select more reliable features and suppress the useless ones. Besides, we propose a novel RoI jitter strategy to improve the robustness to unexpected shift patterns of different devices and system settings. Finally, since our method depends on a new kind of labelling: bounding boxes that match each modality, we manually relabel the KAIST dataset by locating bounding boxes in both modalities and building their relationships, providing a new KAIST-Paired Annotation. Extensive experimental validations on existing datasets are performed, demonstrating the effectiveness and robustness of the proposed method. Code and data are available at https://github.com/luzhang16/AR-CNN.

研究动机与目标

• 解决真实世界多光谱行人检测中因彩色与热成像图像未几何对齐而产生的位置偏移问题。
• 克服现有数据集使用有偏或单模态标注所带来的局限性，此类标注会降低基于 CNN 检测器的性能。
• 开发一种端到端深度学习框架，可在无需精确校准的情况下，有效融合来自错位模态的特征。
• 通过数据增强与自适应特征学习，提升模型对不同传感器与系统配置下不可预测偏移模式的鲁棒性。
• 为 KAIST 数据集提供一种新型高质量配对标注，包含每个模态独立的边界框及其对应关系，以支持未来研究。

提出的方法

• 提出区域特征对齐（RFA）模块，通过可学习的偏移预测头，预测并校正彩色与热成像模态特征图之间的空间偏移。
• 引入置信度感知融合机制，根据各模态特征的可靠性程度，自适应地重加权特征，从而提升特征表示质量。
• 采用 RoI 扰动训练策略，在训练过程中随机扰动 RoI，以模拟多样化的偏移模式，提升模型对真实世界错位的泛化能力。
• 设计双流主干网络（ResNet-50）以提取各模态特异性特征，随后通过 RFA 与融合模块实现联合检测。
• 采用多任务损失函数，联合优化分类、边界框回归与 RFA 偏移预测，实现端到端训练。
• 通过人工标注方式构建新的 KAIST-Paired 标注，共在 20,025 幅图像中对 59,812 个行人进行标注，每个模态独立标注边界框及其对应关系。

实验结果

研究问题

• RQ1 深度学习模型如何有效融合在空间位置不一致的弱对齐多光谱图像中提取的特征？
• RQ2 可学习对齐模块在多光谱行人检测中，能在多大程度上缓解因位置偏移导致的性能下降？
• RQ3 RoI 扰动策略是否能提升模型对不同软硬件配置下不可预测偏移模式的鲁棒性？
• RQ4 与简单拼接或逐元素操作相比，置信度感知特征融合方法在提升检测精度方面有何优势？
• RQ5 高质量配对标注（KAIST-Paired）对多光谱行人检测器的训练与评估有何影响？

主要发现

• 所提出的 AR-CNN 在 KAIST 数据集上达到最先进性能，将原始位置的平均排名前10错误率（MR T）降低至 9.87，优于先前方法。
• RFA 模块显著降低了在位置偏移下的性能波动，使 45° 偏移模式下的 MR T 标准差从 9.77 降低至 1.24，降幅达 8.53 个点。
• RoI 扰动策略提升了模型鲁棒性，其对性能标准差的降低程度超过对平均性能的提升，表明泛化能力得到增强。
• 置信度感知融合方法相比基线模型，将原始位置的 MR T 进一部降低 1.61，证明其在选择可靠特征方面的有效性。
• 新构建的 KAIST-Paired 标注包含 59,812 个经人工标注的行人，覆盖 20,025 幅图像，为未来弱对齐多光谱检测研究提供了高质量基准。
• 大量消融实验表明，RFA、RoI 扰动与置信度感知融合三个模块协同作用，共同提升了检测精度与鲁棒性。