[论文解读] Trajectory Optimization Algorithm Studies

Manan Gandhi|arXiv (Cornell University)|Jun 2, 2015

Spacecraft Dynamics and Control参考文献 2被引用 3

一句话总结

本文比较了在非线性动力系统轨迹优化中使用微分动态规划（DDP）与高斯伪谱最优控制（GPOC）的性能。DDP 通过前向-后向迭代，利用局部二次逼近逐步优化控制序列；而 GPOC 则通过勒让德-高斯-洛巴托配点法将最优控制问题转化为非线性规划问题。在短时域内，DDP 实现更低的控制能量与更快的收敛速度；在长时域下，GPOC 更高效，但需要更深入的问题结构理解。

ABSTRACT

In complex engineered systems, completing an objective is sometimes not enough. The system must be able to reach a set performance characteristic, such as an unmanned aerial vehicle flying from point A to point B, extit{under 10 seconds}. This introduces the notion of optimality, what is the most efficient, the fastest, the cheapest way to complete a task. This report explores the two pillars of optimal control, Bellman's Dynamic Programming and Pontryagin's Maximum Principle, and compares implementations of both theories onto simulated systems. Dynamic Programming is realized through a Differential Dynamic Programming Algorithm, where utilizes a forward-backward pass to iteratively optimize a control sequence and trajectory. The Maximum Principle is realized via Gauss Pseudospectral Optimal Control, where the optimal control problem is first approximated through polynomial basis functions, then solved, with optimality being achieved through the costate equations of the Maximum Principle. The results of the report show that, for short time Horizons, DDP can optimize quickly and can generate a trajectory that utilizes less control effort for the same problem formulation. On the other hand Pseudospectral methods can optimize faster for longer time horizons, but require a key understanding of the problem structure. Future work involves completing an implementation of DDP in a C++ code, and testing the speed of convergence for both methods, as well as extended the Pseudospectral Optimal Control framework in to the world of stochastic optimal control.

研究动机与目标

• 比较微分动态规划（DDP）与高斯伪谱最优控制（GPOC）在复杂动态与代数约束下求解最优控制问题的性能。
• 评估不同时间时域下计算速度、收敛速率与控制能量最优性之间的权衡。
• 评估每种方法对离散化参数、代价函数加权及问题结构的敏感性。
• 探索将 DDP 与 GPOC 扩展至随机最优控制与接触动力学的可行性。
• 在基准系统（双小车间与四旋翼飞行器）上验证两种方法，考虑实际的状态与控制约束。

提出的方法

• 采用前向-后向迭代方案实现 DDP，围绕基准轨迹对动力学与代价函数进行线性化，进而计算反馈增益与改进的控制序列。
• 通过勒让德-高斯-洛巴托配点法将连续最优控制问题转化为非线性规划问题，实现高斯伪谱最优控制（GPOC）。
• 以哈密顿-雅可比-贝尔曼方程作为 DDP 的理论基础，通过动态规划推导最优性的必要条件。
• 利用庞特里亚金最大值原理推导协态方程，为 GPOC 中的最优性条件提供依据。
• 将时间时域离散化为固定区间，并使用序列二次规划（SQP）求解器结合基于梯度的优化方法求解两种方法。
• 通过施加边界约束与在代价函数中引入惩罚项，将状态与控制约束整合到两种框架中。

实验结果

研究问题

• RQ1 在短时域最优控制问题中，DDP 与 GPOC 在收敛速度与最终代价方面有何差异？
• RQ2 在不同时间时域下，使用 DDP 与 GPOC 时，控制能量与计算时间之间的权衡如何？
• RQ3 DDP 与 GPOC 对时间步长与代价函数加权参数的敏感性如何？
• RQ4 在何种情况下 DDP 在解的最优性方面优于 GPOC，特别是关于控制能量与轨迹平滑性？
• RQ5 当控制能量被惩罚时，即使计算时间更长，GPOC 是否仍能实现比 DDP 更高的解质量？

主要发现

• 在双小车间系统中，DDP 在 59 秒内达到最终代价 0.3632，而 GPOC 在 15 秒内达到更低的代价 0.187，表明在控制能量被惩罚时，GPOC 具有更优的最优性。
• DDP 使用了全部 4 秒时间时域来将摆杆抬起，而 GPOC 更快达到目标并保持更小的偏差，反映出其具备更早收敛的能力。
• 在四旋翼飞行器实验中，DDP 在 41 秒内收敛至代价 44.6182，而 GPOC 在 18 秒内达到代价 47.9891，表明 GPOC 尽管代价更高，但运行时间更短。
• GPOC 的最大与最小控制输入均高于 DDP，尤其在四旋翼飞行器案例中，表明其通过更高强度的控制活动更快达到目标。
• DDP 对时间步长与代价函数权重高度敏感，常无法精确收敛至目标状态，而 GPOC 更稳健地实现了精确的最终状态约束。
• DDP 的代价轨迹在优化过程中出现振荡，反映出其迭代策略改进过程的特性；而 GPOC 的代价单调下降，表明其收敛过程更稳定。