[论文解读] Numerical Synthesis of Pontryagin Optimal Control Minimizers Using Sampling-Based Methods

Runxin He, Humberto González‐Díaz|arXiv (Cornell University)|Mar 31, 2017

Advanced Optimization Algorithms Research参考文献 15被引用 4

一句话总结

该论文提出了一种基于采样的直接方法，通过利用松弛控制和PWM重构，为一般动力系统合成庞特里亚金最优控制输入。通过建立庞特里亚金最优控制与松弛最优控制之间的等价性，该方法通过一个可证明收敛的迭代算法确保收敛到最小原理解，从而在不依赖间接方法或复杂两点边值问题求解器的情况下，实现高质量且数值高效的最小化器。

ABSTRACT

Optimal control remains as one of the most versatile frameworks in systems theory, enabling applications ranging from classical robust control to real-time safe operation of fleets of vehicles. While some optimal control problems can be efficiently solved using algebraic or convex methods, most general forms of optimal control must be solved using memory- expensive numerical methods. In this paper we present a theoretical formulation and a corresponding numerical algorithm that can find Pontryagin- optimal inputs for general dynamical systems by using a direct method. Pontryagin-optimal inputs, those satisfying the Minimum Principle, can be found for many classes of problems using indirect methods. But convergent numerical methods to solve indirect problems are hard to find and often converge slowly. On the other hand, convergent direct optimal control methods are fast and founded on solid theory, but their limit points are usually Banach-optimal inputs, which are a weaker form of optimality condition. Our result, founded on the theory of relaxed inputs as defined by J. Warga, establishes an equivalence between Pontryagin- optimal inputs and optimal relaxed inputs. Then, we formu- late a sampling-based numerical method to approximate the Pontryagin-optimal relaxed inputs using an iterative method. Finally, using a provably-convergent numerical method, we synthesize approximations of the Pontryagin-optimal inputs from the sampled relaxed inputs.

研究动机与目标

• 弥合理论庞特里亚金最优控制与可实现的数值算法之间的差距，确保收敛到最小原理解。
• 通过使用具有可证明收敛性的直接方法，克服间接方法的局限性，如收敛缓慢和对初始猜测敏感。
• 开发一种数值高效且可扩展的框架，生成庞特里亚金最优轨迹和输入的高保真近似。
• 在带有约束的LQR问题和非线性四旋翼直升机控制问题上，通过严格的收敛性验证，展示该方法的有效性。

提出的方法

• 该方法基于松弛控制理论，建立了庞特里亚金最优输入与最优松弛控制之间的等价性，从而实现对控制问题的直接数值处理。
• 一种基于采样的算法在控制集U上生成松弛控制的离散近似，使用输入空间中分布的有限组控制值。
• 一种迭代直接优化方法在时间离散化的状态和控制轨迹下，最小化代价函数并满足系统动力学。
• 基于PWM（脉宽调制）重构的投影步骤，从松弛控制样本中合成分段常数控制输入，从而实现对轨迹的精确近似。
• 该算法使用基于最优性函数θ_N,h的收敛准则，迭代监测该函数直至其低于容差阈值ε_tol。
• 通过利用松弛控制与经典最优控制之间的理论等价性，该方法确保收敛到满足庞特里亚金最小原理的解。

实验结果

研究问题

• RQ1 能否设计一种直接数值方法，使其收敛到庞特里亚金最优控制，而不仅仅是满足一阶最优性条件？
• RQ2 如何利用松弛控制理论，使直接方法能够实现最小原理解？
• RQ3 基于采样的方法结合PWM重构能否生成庞特里亚金最优轨迹和输入的准确且数值高效的近似？
• RQ4 所提出算法在实际中的收敛行为如何？与标准直接法或间接法相比表现如何？

主要发现

• 在带有约束的LQR仿真中，该算法在62次迭代内收敛到容差阈值ε_tol = 10⁻⁵，验证了其收敛到庞特里亚金最优解的能力。
• 在四旋翼直升机仿真中，对于两个目标位置，收敛均在40次迭代内完成，ε_tol = 10⁻⁴，表明其在不同初始条件下均具有鲁棒性。
• PWM重构成功生成了分段常数控制输入，其与松弛控制输入高度近似，从而实现了精确的轨迹跟踪。
• 该方法生成了低输入能量的控制信号，在LQR情况下仅在前0.1秒内激活，显示出良好的能效性。
• 在LQR情况下，最终状态为x(T) = (-0.29, -0.56, -0.06)，表明对期望终端条件的精确跟踪。
• 该方法在无需复杂两点边值问题求解器或对初始猜测敏感的情况下，实现了高质量的最小化器，而传统间接方法则存在此类依赖。