[论文解读] Polynomial Approximation of Value Functions and Nonlinear Controller Design with Performance Bounds

Morgan Jones, Matthew M. Peet|arXiv (Cornell University)|Oct 14, 2020

Advanced Optimization Algorithms Research被引用 5

一句话总结

该论文提出一种基于平方和（SOS）优化的方法，通过多项式次解逼近非线性最优控制问题的值函数，求解汉密尔顿-雅可比-贝尔曼（HJB）PDE。证明了这些多项式次解在 $L^1$ 范数下收敛于真实值函数，并表明基于此类近似构造的控制器的次优性由其与真实值函数的 $W^{1,\infty}$-范数距离所界定。

ABSTRACT

For any suitable Optimal Control Problem (OCP) there exists a value function, defined as the unique viscosity solution to the Hamilton-Jacobi-Bellman (HJB) Partial-Differential-Equation (PDE), and which can be used to design an optimal feedback controller for the given OCP. In this paper, we approximately solve the HJB-PDE by proposing a sequence of Sum-Of-Squares (SOS) problems, each of which yields a polynomial subsolution to the HJB-PDE. We show that the resulting sequence of polynomial sub-solutions converges to the value function of the OCP in the L1 norm. Furthermore, for each polynomial sub-solution in this sequence, we show that the associated sequence of sublevel sets converge to the sublevel set of the value function of the OCP in the volume metric. Next, for any approximate value function, obtained from an SOS program or any other method (e.g. discretization), we construct an associated feedback controller, and show that sub-optimality of this controller as applied to the OCP is bounded by the distance between the approximate and true value function of the OCP in the Sobolev norm. Finally, we demonstrate numerically that by solving our proposed SOS problem we are able to accurately approximate value functions, design controllers and estimate reachable sets.

研究动机与目标

• 开发一种凸优化框架，利用多项式次解逼近非线性最优控制问题（OCPs）的值函数。
• 建立多项式次解序列在 $L^1$ 范数下收敛于真实值函数的理论。
• 证明这些多项式近似值函数的次水平集在体积度量下收敛于真实次水平集。
• 基于近似值函数与真实值函数之间的 $W^{1,\infty}$-范数距离，推导控制器次优性的性能界。
• 通过数值实验表明，该方法可实现高精度的值函数逼近、控制器设计以及可达集估计。

提出的方法

• 构建一系列平方和（SOS）优化问题，以计算HJB PDE的多项式次解。
• 确保每个多项式次解满足不等式约束：$ \nabla_t V + \inf_{u \in U} \left\{ c(x,u,t) + \nabla_x V^T f(x,u) \right\} \leq 0 $，并满足终端条件 $ V(x,T) = g(x) $。
• 使用 $L^1$ 范数衡量随着多项式次数 $d$ 增大，多项式次解对真实值函数的收敛性。
• 通过几何与测度论论证，建立多项式近似值函数的次水平集在体积度量下收敛于真实次水平集。
• 从任意候选值函数构造反馈控制器，使用哈密顿函数的下确界：$ k(x,t) \in \arg\inf_{u \in U} \left\{ c(x,u,t) + \nabla_x V^T f(x,u) \right\} $。
• 利用近似值函数与真实值函数之间差值的 $W^{1,\infty}$-范数，推导控制器次优性的性能界。

实验结果

研究问题

• RQ1 一系列凸SOS规划能否生成收敛于OCP真实值函数的多项式次解，且在 $L^1$ 范数下收敛？
• RQ2 这些多项式次解的次水平集是否在体积度量下收敛于真实值函数的次水平集？
• RQ3 能否用近似值函数与真实值函数之间的 $W^{1,\infty}$-范数距离，界定由近似值函数构造的控制器的次优性？
• RQ4 该方法能否准确估计非线性系统的可达集（如洛伦兹吸引子），并保证包含关系？
• RQ5 在 $L^1$ 范数下多项式次解的收敛性是否蕴含严格次水平集的收敛性，而后者用于表征可达集？

主要发现

• 通过SOS优化生成的多项式次解序列，随着多项式次数 $d$ 增大，在 $L^1$ 范数下收敛于真实值函数。
• 随着 $d \to \infty$，多项式次解的次水平集在体积度量下收敛于真实值函数的次水平集。
• 由近似值函数构造的控制器的次优性，受近似值函数与真实值函数之间差值的 $W^{1,\infty}$-范数所界定。
• 数值结果表明，当使用 $d=10$ 求解SOS问题时，其 $0$-次水平集能准确估计洛伦兹吸引子，并包含真实的前向可达集。
• 该方法通过多项式次解的次水平集，保证了真实可达集被包含在估计集合中，这对安全分析至关重要。
• 反例表明，$L^1$ 收敛性不能保证严格次水平集的收敛性，但实践中两者差异可忽略，方法在可达集估计中仍具有效性。