[论文解读] Pedestrian Detection in Low-Light Conditions: A Comprehensive Survey

Bahareh Ghari, Ali Tourani+2 more|arXiv (Cornell University)|Jan 15, 2024

Video Surveillance and Tracking Methods参考文献 186被引用 4

一句话总结

本综述全面回顾了118种最先进的低光照条件下行人检测方法，重点分析了基于深度学习的融合技术（早期、中期、晚期融合），以提升在低可见度下的性能。研究识别出KAIST数据集为主要基准（约48%的研究使用该数据集），并指出夜间检测、遮挡问题以及自动驾驶车辆中实时部署等挑战。

ABSTRACT

Pedestrian detection remains a critical problem in various domains, such as computer vision, surveillance, and autonomous driving. In particular, accurate and instant detection of pedestrians in low-light conditions and reduced visibility is of utmost importance for autonomous vehicles to prevent accidents and save lives. This paper aims to comprehensively survey various pedestrian detection approaches, baselines, and datasets that specifically target low-light conditions. The survey discusses the challenges faced in detecting pedestrians at night and explores state-of-the-art methodologies proposed in recent years to address this issue. These methodologies encompass a diverse range, including deep learning-based, feature-based, and hybrid approaches, which have shown promising results in enhancing pedestrian detection performance under challenging lighting conditions. Furthermore, the paper highlights current research directions in the field and identifies potential solutions that merit further investigation by researchers. By thoroughly examining pedestrian detection techniques in low-light conditions, this survey seeks to contribute to the advancement of safer and more reliable autonomous driving systems and other applications related to pedestrian safety. Accordingly, most of the current approaches in the field use deep learning-based image fusion methodologies (i.e., early, halfway, and late fusion) for accurate and reliable pedestrian detection. Moreover, the majority of the works in the field (approximately 48%) have been evaluated on the KAIST dataset, while the real-world video feeds recorded by authors have been used in less than six percent of the works.

研究动机与目标

• 系统性回顾并分类专为低光照条件设计的最先进行人检测方法。
• 识别低光照行人检测研究中使用最广泛的基准数据集、基线模型和评估协议。
• 分析基于深度学习方法的架构趋势与融合策略（早期、中期、晚期），以提升夜间检测性能。
• 突出实际部署中尚未解决的挑战，如实时推理、对遮挡的鲁棒性，以及在多样化环境中的泛化能力。
• 通过识别当前方法在可解释性、域适应性和现实适用性方面的研究空白，为未来研究提供指导。

提出的方法

• 本综述对118篇近期聚焦于低光照条件下行人检测的论文进行了系统性回顾。
• 根据融合策略（早期、中期、晚期融合）对方法进行分类，利用多光谱或融合图像输入以改善特征表示。
• 分析包括主干网络（如VGG-16、ResNet-50、CSPDarknet-53）和检测头（如YOLO、R-CNN变体）在内的架构组件。
• 采用标准指标（如在KAIST基准上的漏检率MR）评估性能，涵盖白天、白天和夜间子集。
• 在模态不平衡、域适应、知识蒸馏和多任务学习等类别中对比不同方法。
• 通过评估使用真实视频流（仅约6%的研究）与合成或公开数据集的研究数量，考察方法在真实世界中的适用性。

实验结果

研究问题

• RQ1 RQ1：低光照行人检测研究中主要使用哪些数据集和基线模型？
• RQ2 RQ2：当前低光照行人检测中基于深度学习的算法趋势是什么，特别是在融合策略和主干架构方面？
• RQ3 RQ3：在大规模实际应用（如全自动驾驶汽车）中部署最先进行人检测系统时，仍存在哪些未解决的挑战？

主要发现

• KAIST数据集是最广泛使用的基准，约48%的被调研工作基于该数据集进行评估。
• 采用VGG-16和ResNet-50主干网络的中期融合策略表现最佳，在夜间子集上达到最低漏检率（MR）2.90（MCFF [81]）。
• 整体表现最佳的方法是MCFF [81]，在夜间条件下MR为2.90，紧随其后的是HAFNet [75]（MR = 5.66）和Zou et al. [71]（MR = 2.00）。
• 仅6%的被调研工作使用真实世界视频流进行评估，表明实验基准与实际部署之间存在显著差距。
• 基于知识蒸馏（如MD [127]）和无监督域适应（如UTL [121]）的方法表现中等，夜间子集MR值约为15%–25%。
• 本综述指出当前系统缺乏可解释人工智能（xAI）的整合，建议未来需发展可解释模型以增强公众对自动驾驶车辆的信任。