[论文解读] Unsupervised Domain Adaptation for Multispectral Pedestrian Detection

Dayan Guan, Xing Luo+5 more|arXiv (Cornell University)|Apr 7, 2019

Video Surveillance and Tracking Methods参考文献 36被引用 4

一句话总结

本文提出了一种用于多光谱行人检测的无监督域自适应框架，通过在目标域上迭代生成伪标注并更新双流检测器，无需人工标注。通过利用对齐的可见光与热成像之间的相似性和互补性，该方法实现了与监督模型相当的检测性能，相较于非自适应基线模型提升AP 31.37%，相较于最先进无监督方法提升6.67%。

ABSTRACT

Multimodal information (e.g., visible and thermal) can generate robust pedestrian detections to facilitate around-the-clock computer vision applications, such as autonomous driving and video surveillance. However, it still remains a crucial challenge to train a reliable detector working well in different multispectral pedestrian datasets without manual annotations. In this paper, we propose a novel unsupervised domain adaptation framework for multispectral pedestrian detection, by iteratively generating pseudo annotations and updating the parameters of our designed multispectral pedestrian detector on target domain. Pseudo annotations are generated using the detector trained on source domain, and then updated by fixing the parameters of detector and minimizing the cross entropy loss without back-propagation. Training labels are generated using the pseudo annotations by considering the characteristics of similarity and complementarity between well-aligned visible and infrared image pairs. The parameters of detector are updated using the generated labels by minimizing our defined multi-detection loss function with back-propagation. The optimal parameters of detector can be obtained after iteratively updating the pseudo annotations and parameters. Experimental results show that our proposed unsupervised multimodal domain adaptation method achieves significantly higher detection performance than the approach without domain adaptation, and is competitive with the supervised multispectral pedestrian detectors.

研究动机与目标

• 为解决多光谱行人检测数据集（如KAIST和CVC-14）之间的域偏移问题，即在某一领域上训练的检测器在另一领域上表现不佳。
• 通过使用伪标签实现无监督自适应，消除目标领域上昂贵的人工标注需求。
• 通过利用可见光与热成像模态之间的互补特征，提升在不同条件（视角、天气、相机）下的检测鲁棒性。
• 开发一种训练框架，在保持与监督训练相近的计算开销的同时，实现迭代优化。

提出的方法

• 使用在源域（如KAIST）上预训练的检测器生成伪标注，随后通过固定检测器并最小化交叉熵损失（不进行反向传播）对伪标注进行优化。
• 通过融合可见光与热成像双流的伪标注生成训练标签，利用其空间对齐性、相似性以及互补线索。
• 定义多检测损失函数，联合优化双流检测器在优化后的伪标签上，通过反向传播实现特征学习。
• 框架通过迭代交替优化伪标注与检测器参数，提升在目标域上的泛化能力。
• 利用高质量对齐的可见光-红外图像对，确保伪标注生成过程中的空间一致性，从而提升检测可靠性。
• 该方法设计为可扩展且高效，由于伪标签优化不涉及梯度计算，因此额外训练时间极少。

实验结果

研究问题

• RQ1 无监督域自适应能否在无需人工标注的情况下显著提升目标域上的多光谱行人检测性能？
• RQ2 在不同光照与环境条件下，所提方法与监督基线在检测精度上的表现如何比较？
• RQ3 从源域检测器生成的伪标注在存在域偏移的目标域上，其泛化能力达到何种程度？
• RQ4 通过迭代优化整合可见光与热成像的互补特征，是否能提升检测的鲁棒性？
• RQ5 所提方法能否在实现接近全监督方法性能的同时，保持训练效率？

主要发现

• 所提出的无监督多模态域自适应（UMDA）方法在CVC-14数据集上实现了0.8023的像素级平均精度（AP），较ACF+T+THOG基线提升8.84%，较监督SMDA模型低6.67%。
• 与非自适应基线（WMDA）相比，UMDA在AP上提升了31.37%，证明了域自适应的有效性。
• 该方法在白天与夜间条件下均表现良好，AP分别为0.7688与0.8503，显示出对光照变化的强鲁棒性。
• 定性结果表明，当任一模态中人类特征明显时，UMDA性能可与SMDA相媲美；但在复杂背景或低对比度场景下表现受限。
• 由于伪标签优化不涉及反向传播，额外计算开销极低，因此该方法的训练时间与监督训练几乎相同。
• SMDA中的双流检测监督模块有助于性能提升，证实了多模态特定特征学习在多光谱检测中的价值。