[论文解读] Neural Network Based Model Predictive Control for an Autonomous Vehicle

Maria Luiza Costa Vianna, Éric Goubault+1 more|arXiv (Cornell University)|Jul 30, 2021

Advanced Control Systems Optimization参考文献 20被引用 4

一句话总结

本文提出通过监督学习与强化学习训练小型高效神经网络，以替代自动驾驶车辆中计算成本高昂的模型预测控制（MPC）。基于自行车模型，研究发现仅含3层的浅层网络（使用Sigmoid激活函数）即可实现小于1厘米的跟踪误差，优于强化学习方法，且支持实时部署与形式化验证。

ABSTRACT

We study learning based controllers as a replacement for model predictive controllers (MPC) for the control of autonomous vehicles. We concentrate for the experiments on the simple yet representative bicycle model. We compare training by supervised learning and by reinforcement learning. We also discuss the neural net architectures so as to obtain small nets with the best performances. This work aims at producing controllers that can both be embedded on real-time platforms and amenable to verification by formal methods techniques.

研究动机与目标

• 用轻量级神经网络控制器替代自动驾驶车辆中高复杂度的MPC控制器。
• 探究监督学习与强化学习是否能准确近似MPC行为，以实现实时部署。
• 优化神经网络架构，以最小化模型大小与计算成本，同时保持高控制精度。
• 确保所得到的神经控制器适用于安全关键应用的形式化验证。
• 评估在简单训练轨迹上训练的网络在复杂、未见轨迹上的泛化性能。

提出的方法

• 使用由MPC控制器生成的状态-动作对，通过监督学习训练前馈神经网络。
• 以车辆相对于轨迹的相对状态作为输入，包括有限时域内（20步）的未来参考点。
• 训练不同架构的网络：深度（1–3层）、宽度（10–100个神经元）以及激活函数（ReLU、tanh、Sigmoid）。
• 使用包含两层网络（400, 300个神经元）的演员-critic框架进行强化学习，直接从环境交互中学习MPC策略。
• 通过验证轨迹上的平均误差、最大误差与标准差比较性能。
• 采用形式化验证友好的网络设计原则，优先选择小型、简单架构以利于安全验证。

实验结果

研究问题

• RQ1 通过监督学习训练的小型神经网络能否准确复现MPC控制器在自动驾驶车辆路径跟踪中的行为？
• RQ2 架构选择（如深度、宽度与激活函数）如何影响神经控制器的性能与效率？
• RQ3 当系统动力学已知时，强化学习能否产生与监督学习相当精度的控制器？
• RQ4 在简单轨迹（如直线）上训练的网络能否有效泛化到复杂的真实世界轨迹？
• RQ5 输入表示方式（如完整未来轨迹 vs. 相对状态）在多大程度上影响学习性能与泛化能力？

主要发现

• 每层含10个神经元、使用Sigmoid激活函数的3层神经网络在隐藏层中实现了最低平均误差（0.059厘米）与标准差（0.03厘米），优于ReLU与tanh。
• 监督学习的最大跟踪误差为0.39厘米，显著低于强化学习的0.97厘米，表明其精度更优。
• 在简单轨迹（如直线）上训练的网络能有效泛化到复杂轨迹，在验证数据上的平均误差为0.077厘米。
• 增加层数带来的计算成本增加幅度高于增加神经元数量，因此更深的网络在此问题上效率更低。
• 强化学习需要更大网络（400, 300个神经元）才能达到可接受性能，每步评估耗时0.11毫秒，而最优监督网络仅需6微秒。
• 最终的神经控制器在MPC轨迹上的最大偏差小于1厘米，展现出强大的近似能力，适用于实时部署。