[论文解读] Policy Search for Model Predictive Control with Application to Agile Drone Flight

Yunlong Song, Davide Scaramuzza|arXiv (Cornell University)|Dec 7, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种新颖的框架，通过概率策略搜索学习模型预测控制（MPC）的高层决策变量，将策略搜索与MPC相结合。通过将MPC形式化为参数化控制器，并利用自监督策略学习优化其难以调优的参数，该方法在仿真和真实世界实验中均实现了鲁棒、实时的敏捷无人机穿越快速移动门框的飞行。

ABSTRACT

Policy Search and Model Predictive Control~(MPC) are two different paradigms for robot control: policy search has the strength of automatically learning complex policies using experienced data, while MPC can offer optimal control performance using models and trajectory optimization. An open research question is how to leverage and combine the advantages of both approaches. In this work, we provide an answer by using policy search for automatically choosing high-level decision variables for MPC, which leads to a novel policy-search-for-model-predictive-control framework. Specifically, we formulate the MPC as a parameterized controller, where the hard-to-optimize decision variables are represented as high-level policies. Such a formulation allows optimizing policies in a self-supervised fashion. We validate this framework by focusing on a challenging problem in agile drone flight: flying a quadrotor through fast-moving gates. Experiments show that our controller achieves robust and real-time control performance in both simulation and the real world. The proposed framework offers a new perspective for merging learning and control.

研究动机与目标

• 解决在敏捷无人机飞行中手动调优MPC超参数和决策变量的挑战。
• 结合基于模型的MPC（最优性、约束处理）与数据驱动的策略搜索（自动适应、泛化能力）的优势。
• 通过为MPC学习高层策略，实现在快速移动门框中对四旋翼无人机的实时、鲁棒控制。
• 开发一种自监督训练框架，实现高效策略优化，而无需专家示范。
• 在涉及动态环境变化的具有挑战性的现实世界控制任务中，验证所提框架的有效性。

提出的方法

• 将MPC形式化为参数化控制器，其中高层决策变量（如预测时域、代价权重）通过策略搜索进行学习。
• 使用高斯策略表示与状态无关或与状态相关的决策变量，并实现闭式策略更新。
• 提出一种自监督训练方案，利用MPC优化循环生成监督信号以支持策略学习。
• 采用神经网络策略实现基于观测的MPC参数在线自适应调整。
• 设计灵活的损失函数和奖励函数，通过策略搜索实现MPC目标的自动优化。
• 集成基于回合和基于步骤的策略搜索策略，以支持离线与在线策略学习。

实验结果

研究问题

• RQ1 策略搜索能否有效用于学习MPC的高层决策变量，从而在无需手动调优的情况下提升控制性能？
• RQ2 如何利用自监督学习，仅通过MPC生成的轨迹来训练MPC策略？
• RQ3 高斯策略和神经网络策略能否在不同飞行场景和动态环境中泛化MPC参数？
• RQ4 所提框架是否能在仿真和真实世界环境中实现实时、鲁棒的敏捷无人机穿越快速移动门框的控制？
• RQ5 学习与基于模型控制的结合相较于标准MPC或端到端强化学习，是否能显著提升性能？

主要发现

• 所提框架在敏捷无人机穿越快速移动门框的仿真和真实世界实验中，均实现了鲁棒且实时的控制性能。
• 高斯策略的使用实现了对MPC超参数（如预测时域、代价函数权重）的自动调优。
• 神经网络策略能够基于实时观测在线调整MPC决策变量，从而增强对动态变化的响应能力。
• 自监督训练方案成功在极少人工干预且无需专家示范的情况下学习到复杂策略。
• 与标准MPC相比，该方法通过学习到的策略自适应调整MPC参数以应对变化环境，显著提升了在动态环境中的性能。
• 该框架具备良好的泛化能力，可广泛应用于涉及复杂轨迹优化与约束的各类机器人任务。