[论文解读] Parameterized Decision-making with Multi-modal Perception for Autonomous Driving

Yuyang Xia, Shuncheng Liu+5 more|arXiv (Cornell University)|Dec 19, 2023

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出AUTO，一种用于自动驾驶的参数化决策框架，通过基于图的模型整合多模态感知（高精地图、激光雷达、摄像头、GNSS/IMU），以增强环境适应性。该框架采用两阶段动作结构（先决策变道，再执行连续控制），并使用混合奖励函数，优化安全性、效率、舒适性及对周围车辆的影响，在CARLA仿真中实现了宏观与微观指标的最先进性能。

ABSTRACT

Autonomous driving is an emerging technology that has advanced rapidly over the last decade. Modern transportation is expected to benefit greatly from a wise decision-making framework of autonomous vehicles, including the improvement of mobility and the minimization of risks and travel time. However, existing methods either ignore the complexity of environments only fitting straight roads, or ignore the impact on surrounding vehicles during optimization phases, leading to weak environmental adaptability and incomplete optimization objectives. To address these limitations, we propose a parameterized decision-making framework with multi-modal perception based on deep reinforcement learning, called AUTO. We conduct a comprehensive perception to capture the state features of various traffic participants around the autonomous vehicle, based on which we design a graph-based model to learn a state representation of the multi-modal semantic features. To distinguish between lane-following and lane-changing, we decompose an action of the autonomous vehicle into a parameterized action structure that first decides whether to change lanes and then computes an exact action to execute. A hybrid reward function takes into account aspects of safety, traffic efficiency, passenger comfort, and impact to guide the framework to generate optimal actions. In addition, we design a regularization term and a multi-worker paradigm to enhance the training. Extensive experiments offer evidence that AUTO can advance state-of-the-art in terms of both macroscopic and microscopic effectiveness.

研究动机与目标

• 为解决现有决策框架在复杂城市环境中存在的局限性，特别是环境适应性弱和优化目标不完整的问题。
• 通过融合高精地图、激光雷达、摄像头和车辆传感器的多模态输入，提升决策的鲁棒性。
• 建模自动驾驶车辆行为对周围车辆的影响，特别是在变道过程中，以减少交通干扰。
• 通过参数化动作结构实现细粒度的连续控制，将变道决策与执行过程分离。
• 在深度强化学习框架中，使用混合奖励函数优化多个目标——安全性、交通效率、乘客舒适性及最小影响。

提出的方法

• 构建全面的多模态感知堆栈，融合高精地图、激光雷达、摄像头、GNSS和IMU的数据，实时提取车道、车辆和交通灯的特征。
• 采用基于图的神经网络从多模态输入中学习语义表征，捕捉交通参与者与基础设施之间的交互关系。
• 采用参数化动作范式，将决策分解为两个阶段：首先判断是否变道，然后计算连续的转向与速度指令。
• 设计混合奖励函数，综合考虑安全性、交通效率、乘客舒适性以及对后方车辆的影响，以指导策略学习。
• 引入正则化项和多工作线程训练范式，以稳定并加速强化学习训练过程。
• 在CARLA仿真环境中，使用OpenDRIVE地图和合成传感器数据开展实验，评估框架性能。

实验结果

研究问题

• RQ1 如何有效融合来自多样化传感器和高精地图的多模态感知信息，以提升复杂城市驾驶中的环境理解能力？
• RQ2 与离散动作空间相比，参数化动作结构在多大程度上提升了决策性能与安全性？
• RQ3 是否包含对周围车辆影响的混合奖励函数，能够引导出更高效且更少干扰的驾驶行为？
• RQ4 所提出的框架在宏观与微观驾驶指标上，与最先进方法相比表现如何？
• RQ5 正则化项与多工作线程训练设置对策略收敛性与稳定性有何贡献？

主要发现

• AUTO在CARLA仿真中，于宏观指标（如路线完成率、行驶时间）与微观指标（如平顺性、安全性）上均达到最先进性能。
• 该框架通过有效应对复杂城市场景（超越简单高速公路），展现出卓越的环境适应能力。
• 参数化动作结构相比离散动作方法，实现了更平滑、可逆的变道操作，显著降低安全风险。
• 在奖励函数中引入对周围车辆的影响，促使车辆表现出更协作的驾驶行为，减少后方车辆的延迟。
• 多工作线程训练设置与正则化项显著提升了训练稳定性与收敛速度。
• 基于图的感知模型有效捕捉了多模态语义特征，增强了状态表征学习的鲁棒性。