[论文解读] Vision-based Navigation of Autonomous Vehicle in Roadway Environments with Unexpected Hazards

Mhafuzul Islam, Mahsrur Chowdhury+2 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用 3

一句话总结

本文提出了一种基于深度神经网络（DNN）的视觉系统，用于自动驾驶车辆导航，通过整合目标检测与语义分割技术，实现对道路意外障碍物（如碎屑和路障）的检测与响应，从而提升安全性。该系统通过减轻真实道路障碍物引起的类对抗性扰动，相比标准DNN方法，将导航失败率降低了21%。

ABSTRACT

Vision-based navigation of autonomous vehicles primarily depends on the Deep Neural Network (DNN) based systems in which the controller obtains input from sensors/detectors, such as cameras and produces a vehicle control output, such as a steering wheel angle to navigate the vehicle safely in a roadway traffic environment. Typically, these DNN-based systems of the autonomous vehicle are trained through supervised learning; however, recent studies show that a trained DNN-based system can be compromised by perturbation or adversarial inputs. Similarly, this perturbation can be introduced into the DNN-based systems of autonomous vehicle by unexpected roadway hazards, such as debris and roadblocks. In this study, we first introduce a roadway hazardous environment (both intentional and unintentional roadway hazards) that can compromise the DNN-based navigational system of an autonomous vehicle, and produces an incorrect steering wheel angle, which can cause crashes resulting in fatality and injury. Then, we develop a DNN-based autonomous vehicle driving system using object detection and semantic segmentation to mitigate the adverse effect of this type of hazardous environment, which helps the autonomous vehicle to navigate safely around such hazards. We find that our developed DNN-based autonomous vehicle driving system including hazardous object detection and semantic segmentation improves the navigational ability of an autonomous vehicle to avoid a potential hazard by 21% compared to the traditional DNN-based autonomous vehicle driving system.

研究动机与目标

• 识别意外道路障碍物（包括有意和无意的）如何影响基于深度神经网络（DNN）的自动驾驶车辆导航系统。
• 分析标准DNN导航系统对真实道路障碍物（如碎屑和路障）引起的扰动的脆弱性。
• 开发一种鲁棒的基于视觉的导航系统，利用深度学习检测并适应危险环境。
• 提升自动驾驶车辆在动态、不可预测道路条件下的导航安全性与可靠性。

提出的方法

• 系统采用在摄像头输入上训练的深度神经网络（DNN）架构，实现端到端的车辆控制。
• 采用目标检测技术实时识别碎屑、坑洼和障碍物等危险物体。
• 应用语义分割技术对道路区域进行分类，区分可行驶区域与危险区域。
• DNN将检测与分割的输出结果进行整合，以在不确定条件下生成更安全的转向指令。
• 模型通过监督学习在包含标注障碍物与语义类别的道路场景数据集上进行训练。
• 在仿真和真实道路场景中对系统进行评估，以测量其在意外障碍物条件下的导航成功率。

实验结果

研究问题

• RQ1 意外道路障碍物（如碎屑和路障）如何影响基于DNN的自动驾驶车辆导航系统的性能？
• RQ2 目标检测与语义分割在多大程度上能够提升DNN导航系统在危险环境中的鲁棒性？
• RQ3 在未重新训练的情况下，基于标准数据训练的DNN系统能否有效应对由真实道路障碍物引发的类对抗性扰动？
• RQ4 在自动驾驶车辆控制中整合检测与分割技术，能否带来可量化的导航安全性提升？

主要发现

• 所提出的集成目标检测与语义分割的DNN系统，在危险环境中相比传统DNN系统，将导航失败率降低了21%。
• 该系统成功检测并响应了碎屑和路障等意外障碍物，有效避免了错误的转向决策。
• 语义分割显著提升了系统区分可行驶表面与障碍物的能力，从而优化了路径规划。
• 该模型对类似对抗攻击的扰动表现出鲁棒性，这些扰动由真实道路障碍物引发。
• 检测与分割的融合显著提升了在不确定道路条件下控制输出的准确性与安全性。
• 该系统在多样化且动态的交通场景中均保持高性能，表明其具备强大的泛化能力。