[论文解读] Optimal Cost Design for Model Predictive Control

Avik Jain, Lawrence S. Chan+2 more|arXiv (Cornell University)|Apr 23, 2021

Advanced Control Systems Optimization参考文献 28被引用 8

一句话总结

本文提出最优成本设计模型预测控制（OCD-MPC），一种零阶优化方法，通过学习一个代理成本函数 $C'$ 来提升在真实成本 $C$ 下的 MPC 展开性能，即使在 MPC 面临短时域、局部最优解或动力学模型不准确的情况下亦能实现。该方法学习 $C'$，使得使用 $C'$ 的 MPC 展开实现的真正累计成本低于使用 $C$ 的情况，且在自动驾驶场景中对初始状态和动力学不匹配均表现出鲁棒性。

ABSTRACT

Many robotics domains use some form of nonconvex model predictive control (MPC) for planning, which sets a reduced time horizon, performs trajectory optimization, and replans at every step. The actual task typically requires a much longer horizon than is computationally tractable, and is specified via a cost function that cumulates over that full horizon. For instance, an autonomous car may have a cost function that makes a desired trade-off between efficiency, safety, and obeying traffic laws. In this work, we challenge the common assumption that the cost we optimize using MPC should be the same as the ground truth cost for the task (plus a terminal cost). MPC solvers can suffer from short planning horizons, local optima, incorrect dynamics models, and, importantly, fail to account for future replanning ability. Thus, we propose that in many tasks it could be beneficial to purposefully choose a different cost function for MPC to optimize: one that results in the MPC rollout having low ground truth cost, rather than the MPC planned trajectory. We formalize this as an optimal cost design problem, and propose a zeroth-order optimization-based approach that enables us to design optimal costs for an MPC planning robot in continuous MDPs. We test our approach in an autonomous driving domain where we find costs different from the ground truth that implicitly compensate for replanning, short horizon, incorrect dynamics models, and local minima issues. As an example, the learned cost incentivizes MPC to delay its decision until later, implicitly accounting for the fact that it will get more information in the future and be able to make a better decision. Code and videos available at https://sites.google.com/berkeley.edu/ocd-mpc/.

研究动机与目标

• 为解决 MPC 在机器人应用中因规划时域过短、陷入局部最优、动力学模型不准确以及未能考虑未来重规划而导致的次优性能问题。
• 挑战 MPC 应优化真实任务成本 $C$ 的假设，提出优化一个学习得到的代理成本 $C'$ 可实现更优的展开性能。
• 将 MPC 的最优成本设计问题形式化为连续 MDP 中的零阶优化任务。
• 评估所学习的代理成本在自动驾驶环境中对未见初始状态和动力学不匹配的泛化能力。

提出的方法

• 将最优成本设计问题形式化为最小化 MPC 展开的真实累计成本，而非直接优化真实成本。
• 使用零阶优化（CMA-ES）在代理成本函数 $C'$ 的空间中进行搜索，其中适应度函数评估使用 $C'$ 的 MPC 展开在真实成本 $C$ 下的表现。
• 通过采样初始状态并优化多个初始化下的低展开成本来训练代理成本 $C'$，以提升泛化能力。
• 即使 MPC 使用近似模型 $\hat{f}$，也使用真实动力学 $f$ 来评估 $C'$ 的适应度，以模拟现实世界中的动力学不匹配。
• 通过 10 个随机种子的自助法置信区间，评估在未见初始状态上性能提升的统计显著性。
• 将代理成本学习与终端成本学习相结合，表明二者在性能上具有互补性提升。

实验结果

研究问题

• RQ1 为 MPC 学习代理成本函数 $C'$ 是否能实现比直接优化真实成本 $C$ 更低的真实累计展开成本？
• RQ2 在自动驾驶场景中，所学习的 $C'$ 在未见初始状态上的性能泛化能力如何？
• RQ3 $C'$ 是否能补偿 MPC 中的短时域、局部最优解和不准确的动力学模型？
• RQ4 将学习得到的 $C'$ 与学习得到的终端成本结合，是否能获得优于单独使用任一方法的性能？
• RQ5 在训练过程中需要多少初始状态，才能确保 $C'$ 对未见初始条件具有稳健的泛化能力？

主要发现

• 在所有三个自动驾驶场景中，所学习的代理成本 $C'$ 生成的 MPC 展开真实累计成本显著低于直接使用真实成本 $C$ 的情况，即使在时域较短时亦成立。
• 当真实动力学中加入风致噪声时，OCD-MPC 实现了与无动力学不匹配理想情况相当的性能，表明对模型不准确具有鲁棒性。
• 在场景 1 和 2 中，仅需一个训练初始状态即可使 $C'$ 泛化至未见初始状态，实现更低的平均展开成本和更小的方差。
• 在场景 3（重规划）中，需在超过 5 个初始状态上进行训练，$C'$ 才能持续优于使用真实成本 $C$ 的规划，凸显了多样化训练数据的必要性。
• 将学习得到的 $C'$ 与学习得到的终端成本结合，性能优于单独使用任一方法，表明二者具有互补优势。
• 该方法成功学习到 $C'$，其能隐式延迟决策（如变道）以考虑未来重规划，展示了对 MPC 局限性的战略性补偿。