[论文解读] Optimizing Autonomous Driving for Safety: A Human-Centric Approach with LLM-Enhanced RLHF

Sun Yuan, Navid Salami Pargoo+2 more|arXiv (Cornell University)|Jun 6, 2024

Human-Automation Interaction and SafetyPsychology被引用 3

一句话总结

本文提出了一种以人为中心、基于大语言模型（LLM）增强的从人类反馈中强化学习（RLHF）框架，用于提升自动驾驶安全性。通过整合人类驾驶员的物理与生理传感器数据，并利用大语言模型（LLM）对人类偏好进行解释与模拟，该方法在多智能体仿真环境中微调自动驾驶车辆策略，显著提升了与真实世界人类行为及安全标准的一致性。

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) is popular in large language models (LLMs), whereas traditional Reinforcement Learning (RL) often falls short. Current autonomous driving methods typically utilize either human feedback in machine learning, including RL, or LLMs. Most feedback guides the car agent's learning process (e.g., controlling the car). RLHF is usually applied in the fine-tuning step, requiring direct human "preferences," which are not commonly used in optimizing autonomous driving models. In this research, we innovatively combine RLHF and LLMs to enhance autonomous driving safety. Training a model with human guidance from scratch is inefficient. Our framework starts with a pre-trained autonomous car agent model and implements multiple human-controlled agents, such as cars and pedestrians, to simulate real-life road environments. The autonomous car model is not directly controlled by humans. We integrate both physical and physiological feedback to fine-tune the model, optimizing this process using LLMs. This multi-agent interactive environment ensures safe, realistic interactions before real-world application. Finally, we will validate our model using data gathered from real-life testbeds located in New Jersey and New York City.

研究动机与目标

• 解决在自动驾驶领域应用从人类反馈中强化学习（RLHF）时存在的问题，即逐帧的人类偏好反馈不切实际。
• 通过在多智能体环境中模拟人类驾驶的智能体与行人，提升自动驾驶训练的安全性与真实性。
• 整合来自人类驾驶员的物理反馈（如方向盘、刹车）与生理反馈（如心率、视线），以建模人类偏好。
• 利用大语言模型（LLM）解释多模态人类反馈，并生成用于可扩展训练的合成人类行为。
• 使用新泽西州与纽约市测试平台的真实世界数据进行框架验证，实现从仿真到现实的迁移。

提出的方法

• 使用预训练策略训练自动驾驶智能体，通过在仿真过程中收集的人类反馈，利用RLHF进行微调。
• 通过物理控制器（方向盘、踏板）与可穿戴传感器（Empatica用于生理信号，Adhawk用于视线追踪）整合人类驾驶员。
• 使用VR头显与树莓派摄像头捕捉沉浸式环境交互与实时人类反应。
• 采用大语言模型智能体（如GPT-4）解释多模态传感器数据，并将其转化为RLHF循环中的可操作偏好信号。
• 通过LLM驱动的行为克隆技术，模拟多个智能体（驾驶员与行人），以增强交互多样性与真实性。
• 将纽约市与新泽西州测试平台的真实道路数据导入CARLA仿真环境，用于交叉验证与现实对齐。

Figure 1. Overview of our human-centric multi-agent LLM-enhanced RLHF system framework. During the fine-tuning of an autonomous car model, human agents and proliferated LLM agents mimicking multiple human behaviors are incorporated into the environment to align with real-world human preferences.

实验结果

研究问题

• RQ1 能否通过多模态传感器反馈建模人类偏好，而非直接标注偏好，来有效应用于自动驾驶中的RLHF？
• RQ2 同时整合物理与生理反馈在多大程度上能提升自动驾驶决策的安全性与真实性？
• RQ3 大语言模型（LLM）在多大程度上能够模拟多样化的驾驶行为，以增强多智能体仿真环境中的训练效果？
• RQ4 将真实世界测试平台数据整合到仿真环境中，在多大程度上提升了训练后自动驾驶策略的鲁棒性与泛化能力？
• RQ5 不同驾驶技能水平的人类驾驶员对RLHF框架的性能与学习效率有何影响？

主要发现

• 该框架成功将人类驾驶员的物理与生理反馈整合进RLHF循环，实现了更符合人类行为的策略学习。
• 大语言模型（LLM）智能体能有效解释多模态人类数据，并模拟出包括超车与避碰在内的逼真人类行为，增强了训练多样性。
• 使用GPT-4的初步实现表明，LLM驱动的行为模仿与引导在CARLA仿真中功能正常，包括避碰与用户辅助。
• 纽约市与新泽西州测试平台的真实道路数据已成功导入CARLA仿真环境，用于验证与跨领域测试。
• 通过LLM的规模化部署，实现了人类智能体的可扩展仿真，降低了训练过程中对真实人类参与的依赖。
• 初步结果证实了所提仿真到现实框架在安全自动驾驶中的理论可行性与基础设施准备度。

Figure 2. Simulation room with VR headset, steering controls, and monitors for real-time multimodal data collection and autonomous driving optimization.