[论文解读] Vulnerable road user detection: state-of-the-art and open challenges

Patrick Mannion|arXiv (Cornell University)|Feb 10, 2019

Advanced Neural Network Applications参考文献 21被引用 7

一句话总结

本文综述了自动驾驶汽车中弱势道路使用者（VRU）检测的最新进展，重点关注目标检测技术、数据集和机器学习模型。文章识别出遮挡、低光照条件以及预测不确定性等关键挑战，并提出未来研究方向，包括贝叶斯深度学习、神经进化和V2X通信，以提高检测的可靠性与安全性。

ABSTRACT

Correctly identifying vulnerable road users (VRUs), e.g. cyclists and pedestrians, remains one of the most challenging environment perception tasks for autonomous vehicles (AVs). This work surveys the current state-of-the-art in VRU detection, covering topics such as benchmarks and datasets, object detection techniques and relevant machine learning algorithms. The article concludes with a discussion of remaining open challenges and promising future research directions for this domain.

研究动机与目标

• 提供对自动驾驶汽车感知系统中检测弱势道路使用者（VRU），如行人和骑行人，的当前方法与技术的全面综述。
• 识别当前VRU检测中的持久挑战，包括遮挡、低光照条件和误报，这些因素阻碍了自动驾驶汽车的安全性与可靠性。
• 评估用于训练和验证VRU检测算法的现有基准和数据集（如CityPersons、KITTI和EuroCity Persons）。
• 探索新兴研究方向，如贝叶斯深度学习、神经进化和V2X通信，以提升检测的鲁棒性与不确定性估计能力。
• 通过突出开放挑战与实现人类水平或更优VRU检测性能所必需的有前景技术，为未来研究提供指导。

提出的方法

• 调研近期关于VRU检测的文献，包括目标检测算法、传感器融合技术以及自动驾驶研究中使用的基准数据集。
• 分析基于深度学习的目标检测模型（如Faster R-CNN、SSD、YOLO）在CityPersons和KITTI等公共数据集上的性能，重点关注在真实环境条件下的检测准确率。
• 评估结合摄像头、激光雷达（LIDAR）和雷达（RADAR）的传感器融合策略，以提升在不同环境条件下的深度感知能力与鲁棒性。
• 研究贝叶斯深度学习（BDL）在目标检测预测中估计不确定性的能力，利用概率神经网络生成困难检测情况下的不确定性图。
• 探索神经进化作为反向传播的替代方法，利用遗传算法优化网络权重，提升训练效率。
• 评估V2X（车联万物）通信的潜力，包括V2V和V2P通信，通过扩展视线外感知能力，减少因遮挡导致的检测失败。

实验结果

研究问题

• RQ1 当前自动驾驶汽车中用于检测弱势道路使用者（VRUs）的最先进方法与数据集有哪些？
• RQ2 传感器融合与多模态传感（如摄像头、LIDAR、RADAR）如何在复杂环境条件下提升VRU检测性能？
• RQ3 当前基于深度学习的检测模型在处理VRU的遮挡、低光照和小目标检测方面存在哪些关键局限性？
• RQ4 贝叶斯深度学习与不确定性估计能否提升自动驾驶汽车中VRU检测系统的可靠性与安全性？
• RQ5 V2X通信与神经进化如何有助于克服当前VRU检测与模型训练中的瓶颈？

主要发现

• EuroCity Persons（ECP）数据集目前是VRU检测最全面的公开基准，覆盖全球31座城市的多样化城市环境，以及多种天气与光照条件。
• 最先进的深度学习模型（如Faster R-CNN和YOLO）在标准基准上表现优异，但在遮挡、低光照和小目标条件下性能显著下降。
• 贝叶斯深度学习（BDL）可生成不确定性图，突出显示高预测不确定性的区域（如反光表面或障碍物后方），从而在模糊情况下提升检测可靠性。
• 神经进化技术，特别是遗传算法，在无需反向传播的情况下训练深度网络方面展现出潜力，可在分布式计算系统中实现更好的可扩展性，并更有效地跳出局部最优。
• V2X通信（包括V2P和V2V数据共享）具有显著减少因遮挡导致的检测失败的潜力，使车辆能够感知视线外的VRU。
• 尽管已有进展，当前系统在复杂城市场景中检测VRU方面仍远未达到人类水平，凸显了在不确定性感知与协同感知系统方面进一步研究的必要性。