[论文解读] Stochastic trajectory optimization for mechanical systems with parametric uncertainties

George I. Boutselis, Yunpeng Pan+2 more|arXiv (Cornell University)|May 16, 2017

Probabilistic and Robust Engineering Design参考文献 37被引用 4

一句话总结

本文提出了一种基于广义多项式混沌（gPC）和微分动态规划（DDP）扩展的随机轨迹优化框架，用于具有参数不确定性的机械系统。通过正交多项式展开表示系统参数中的不确定性，并利用变分积分器实现结构保持的传播，该方法能够在不确定性下实现快速、可扩展且二阶收敛的轨迹优化，具有理论收敛保证，并在仿真中得到验证。

ABSTRACT

In this paper we develop a novel, discrete-time optimal control framework for mechanical systems with uncertain model parameters. We consider finite-horizon problems where the performance index depends on the statistical moments of the stochastic system. Our approach constitutes an extension of the original Differential Dynamic Programming method and handles uncertainty through generalized Polynomial Chaos (gPC) theory. The developed iterative scheme is capable of controlling the probabilistic evolution of the dynamic system and can be used in planning and control. Moreover, its scalable and fast converging nature play a key role when dealing with complex, high-dimensional problems. Based on Lagrangian mechanics principles, we also prove that Variational Integrators can be designed to properly propagate and linearize the gPC representations of stochastic, forced mechanical systems in discrete time. We utilize this benefit to further improve the efficiency of our trajectory-optimization methodology. Numerical simulations are included to validate the applicability of our approach.

研究动机与目标

• 解决机械系统中存在参数不确定性时的轨迹优化挑战，其中传统方法假设存在加性噪声或高斯状态分布。
• 开发一种基于模型的最优控制框架，显式表示系统参数中的不确定性，而非仅在噪声项中体现。
• 将微分动态规划（DDP）扩展以处理使用广义多项式混沌（gPC）理论的随机动力学，实现精确的统计矩传播。
• 通过基于变分积分器的结构保持积分，确保高维复杂机械系统在计算效率和可扩展性方面的优势。
• 在标准光滑性假设下，为所提出的迭代优化方案提供理论收敛保证（二阶收敛）。

提出的方法

• 该方法使用广义多项式混沌（gPC）将状态和系统动力学表示为随机变量正交多项式展开，从而实现系统中统计矩的传播。
• 将经典 DDP 算法扩展至在 gPC 系数上操作，将最优控制问题表述为依赖于状态均值和方差的代价函数。
• 该算法通过 gPC 展开迭代计算值函数和代价到目标的二阶近似，实现控制策略的高效且稳定更新。
• 基于拉格朗日力学原理推导变分积分器，以在 gPC 表示的动力学时间积分过程中保持几何结构。
• 在每次迭代中对 gPC 表示的动力学和代价函数进行线性化，通过类似黎卡提方程的公式高效计算控制更新。
• 在代价到目标的 Hessian 矩阵满足标准光滑性和正定性假设下，证明了收敛速度为二阶。

实验结果

研究问题

• RQ1 能否将基于 DDP 的最优控制框架扩展至使用广义多项式混沌（gPC）表示的机械系统中的参数不确定性？
• RQ2 如何利用 gPC 和结构保持积分器准确传播和控制具有不确定参数的机械系统的概率演化？
• RQ3 所提出的 gPC-DDP 算法的收敛速率是多少？在何种条件下可保证其二阶收敛？
• RQ4 能否构建变分积分器以在离散时间下保持 gPC 表示的随机机械系统的几何结构？
• RQ5 与依赖高斯假设或加性噪声模型的现有随机最优控制方法相比，该方法在效率和准确性方面表现如何？

主要发现

• 在标准光滑性和正定性条件下，所提出的 gPC-DDP 方法通过归纳法和泰勒展开论证，实现了二阶收敛速率。
• 该方法成功利用变分积分器传播和线性化 gPC 表示的随机、受迫机械系统，保持了动力学的底层几何结构。
• 数值仿真验证了该方法在高维非线性机械系统中控制状态均值和方差的能力。
• gPC 的使用能够准确表示由参数变化引起的非高斯不确定性，克服了假设高斯状态的矩匹配方法的局限性。
• 该框架具有可扩展性和计算高效性，适用于复杂高维机器人和机械系统在不确定性下的规划。
• 理论分析确认控制更新步长的收敛速度为二阶，误差被限制为前一迭代误差平方的常数倍。