[论文解读] The Integration of Prediction and Planning in Deep Learning Automated Driving Systems: A Review

Steffen Hagedorn, Marcel Hallgarten+2 more|arXiv (Cornell University)|Aug 10, 2023

Autonomous Vehicle Technology and Safety被引用 6

一句话总结

本文综述了自动驾驶系统中基于深度学习的运动预测与规划融合方法，提出了一套系统化的融合架构分类——机器人主导型、协同主导型与联合规划型，分析了其行为影响、安全权衡及研究空白。文章指出在可扩展测试、基准评估与鲁棒训练方面面临的关键挑战，主张建立统一的评估框架与混合学习方法，以提升交互式驾驶场景下的泛化能力与安全性。

ABSTRACT

Automated driving has the potential to revolutionize personal, public, and freight mobility. Beside accurately perceiving the environment, automated vehicles must plan a safe, comfortable, and efficient motion trajectory. To promote safety and progress, many works rely on modules that predict the future motion of surrounding traffic. Modular automated driving systems commonly handle prediction and planning as sequential, separate tasks. While this accounts for the influence of surrounding traffic on the ego vehicle, it fails to anticipate the reactions of traffic participants to the ego vehicle's behavior. Recent methods increasingly integrate prediction and planning in a joint or interdependent step to model bidirectional interactions. To date, a comprehensive overview of different integration principles is lacking. We systematically review state-of-the-art deep learning-based planning systems, and focus on how they integrate prediction. Different facets of the integration ranging from system architecture to high-level behavioral aspects are considered and related to each other. Moreover, we discuss the implications, strengths, and limitations of different integration principles. By pointing out research gaps, describing relevant future challenges, and highlighting trends in the research field, we identify promising directions for future research.

研究动机与目标

• 为解决传统顺序式预测与规划在自动驾驶系统中的局限性，此类方法无法有效建模交通参与者之间的相互作用。
• 提供基于深度学习的预测、规划及其融合方法在自动驾驶领域的全面、系统性综述。
• 基于自车与交通参与者之间的关系及代价函数设计，提出一种新型融合方法分类——机器人主导型、协同主导型与联合规划型。
• 分析不同融合范式在安全性、鲁棒性及行为影响方面的表现，识别训练、基准评估与系统设计中的开放性挑战。
• 突出研究空白与未来方向，尤其关注可扩展测试、全面基准评估以及应对分布偏移与罕见场景的鲁棒训练。

提出的方法

• 基于自车行为如何影响预测结果，将现有集成预测与规划（IPP）模型系统性地划分为三种架构范式：机器人主导型、协同主导型与联合规划型。
• 分析三类融合架构的模型结构、系统设计及行为影响，强调代价函数如何体现安全性和应急规划能力。
• 综述最先进的基于深度学习的预测与规划方法，重点关注端到端与混合架构，其共同目标是联合优化未来轨迹与行为动作。
• 提出一种结构化框架，通过交互指标、真实驾驶员模型及能捕捉长尾驾驶场景的仿真环境，对IPP系统进行评估。
• 研究训练方法，如在可微分模拟器中使用行为克隆，以及数据增强技术，以提升对分布偏移与罕见高风险场景的鲁棒性。
• 强调亟需可扩展的仿真环境与对抗性场景生成技术，以测试真实部署条件下系统的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 不同融合架构——机器人主导型、协同主导型与联合规划型——在建模自车与周围交通参与者交互方面有何差异？
• RQ2 在机器人主导型与协同主导型规划范式中，使用专用代价函数的安全与行为影响分别是什么？
• RQ3 为何目前缺乏对集成预测与规划系统进行全面基准评估？需要哪些指标来评估其性能？
• RQ4 如何改进训练方法，以确保对罕见、高风险场景及分布偏移的鲁棒泛化能力？
• RQ5 在系统设计、仿真规模与评估方面，哪些关键开放挑战阻碍了集成预测与规划在真实自动驾驶系统中的部署？

主要发现

• 机器人主导型范式中，自车先行规划并基于规划结果进行预测，虽常见但可能依赖于关于周围车辆反应的不切实际假设。
• 协同主导型范式中，自车与周围车辆均进行条件性规划，通过建模相互预期与响应，自然地支持安全与鲁棒性。
• 联合规划中，所有参与者的动作被同时优化，但缺乏内在的安全机制，且联合代价函数的定义与优化极具挑战。
• 目前尚无全面基准能评估不同融合方法在多样化、交互式驾驶场景下的优劣，尤其在结合真实驾驶员模型时。
• 对罕见、高风险场景的鲁棒泛化仍是主要挑战，现有方法依赖数据筛选、增强场景或可微分仿真来提升性能。
• 未来研究应优先关注可扩展仿真、对抗性场景生成，以及结合模仿学习与强化学习的混合训练方法，以增强系统的鲁棒性与安全性。