[论文解读] Pontryagin Differentiable Programming: An End-to-End Learning and Control Framework

Wanxin Jin, Zhaoran Wang+2 more|arXiv (Cornell University)|Dec 30, 2019

Advanced Control Systems Optimization被引用 29

一句话总结

本文提出庞特里亚金可微编程（Pontryagin Differentiable Programming, PDP），一种统一的端到端框架，通过反向传播庞特里亚金最大值原理（Pontryagin’s Maximum Principle, PMP），实现最优控制系统的动力学、策略与控制目标的联合学习。通过引入一个辅助后向控制系统，PDP 可计算轨迹对参数的解析梯度，从而在高维系统（如四旋翼飞行器和火箭着陆）上高效支持逆强化学习、系统辨识与控制规划任务。

ABSTRACT

This paper develops a Pontryagin Differentiable Programming (PDP) methodology, which establishes a unified framework to solve a broad class of learning and control tasks. The PDP distinguishes from existing methods by two novel techniques: first, we differentiate through Pontryagin's Maximum Principle, and this allows to obtain the analytical derivative of a trajectory with respect to tunable parameters within an optimal control system, enabling end-to-end learning of dynamics, policies, or/and control objective functions; and second, we propose an auxiliary control system in the backward pass of the PDP framework, and the output of this auxiliary control system is the analytical derivative of the original system's trajectory with respect to the parameters, which can be iteratively solved using standard control tools. We investigate three learning modes of the PDP: inverse reinforcement learning, system identification, and control/planning. We demonstrate the capability of the PDP in each learning mode on different high-dimensional systems, including multi-link robot arm, 6-DoF maneuvering quadrotor, and 6-DoF rocket powered landing.

研究动机与目标

• 通过统一框架解决在高维系统中联合学习动力学、策略与控制目标的挑战。
• 克服现有方法在系统辨识与逆学习任务中数据效率低、长期预测精度差的局限性。
• 将最优控制理论与可微学习相结合，实现具有可验证性与可解释性的端到端训练。
• 利用单一可微框架联合优化未知系统组件——动力学、策略与代价函数。
• 提供可扩展的可微架构，同时支持基于模型的强化学习与逆最优控制。

提出的方法

• 通过庞特里亚金最大值原理（PMP）反向传播，解析计算最优轨迹对系统参数的梯度。
• 在反向传播过程中引入一个辅助控制系统，用于计算轨迹对参数的解析导数。
• 使用标准控制工具（如 iLQR、DDP）迭代求解该辅助系统，从而实现对最优控制解的反向传播。
• 将学习问题表述为在 PMP 定义的最优轨迹约束下最小化损失函数 $ L(\boldsymbol{\xi}_\theta, \boldsymbol{\theta}) $。
• 通过可微的动力学 $ \boldsymbol{f}_\theta $、策略 $ \boldsymbol{\pi}_\theta $ 与代价函数 $ c_\theta $ 参数化系统，所有组件均通过 PMP 实现可微。
• 通过相应地重新定义损失函数与约束函数，支持三种学习模式：逆强化学习（IRL）、系统辨识（SysID）与控制/规划。

实验结果

研究问题

• RQ1 我们能否通过庞特里亚金最大值原理反向传播最优控制解，以实现系统组件的端到端学习？
• RQ2 在不依赖有限差分法的前提下，如何在最优控制系统中计算轨迹对参数的解析梯度？
• RQ3 所提出的框架能否以高精度与高效率，从示范或数据中联合学习动力学、策略与代价函数？
• RQ4 反向传播中的辅助控制系统如何实现高维控制任务中可扩展且可微的优化？
• RQ5 在四旋翼飞行器与火箭等复杂系统上，PDP 在系统辨识、逆强化学习与控制规划任务中相较于现有方法的性能提升如何？

主要发现

• PDP 通过反向传播最优控制问题的解（基于庞特里亚金最大值原理），实现了动力学、策略与控制目标的端到端训练。
• 反向传播中的辅助控制系统可计算轨迹对参数的精确解析梯度，避免了有限差分法带来的近似误差。
• 在逆强化学习模式下，PDP 即使在示范不理想的情况下，也能成功恢复专家动力学与代价函数。
• 在系统辨识模式下，PDP 仅使用观测到的状态-输入轨迹，即在六自由度四旋翼飞行器与六自由度火箭系统上实现了高精度的动力学恢复。
• 在控制/规划模式下，PDP 支持使用可微代价函数进行高效的轨迹优化，在复杂系统上展现出良好的可扩展性与收敛性。
• 该框架在无需架构或算法重构的情况下，跨多种学习模式均表现出稳健性能，凸显其通用性与端到端可微性。