[论文解读] Turnpike Properties in Optimal Control: An Overview of Discrete-Time and Continuous-Time Results

Timm Faulwasser, Lars Grüne|arXiv (Cornell University)|Nov 27, 2020

Advanced Control Systems Optimization参考文献 75被引用 26

一句话总结

本文全面概述了最优控制中转轨性质（turnpike properties）的研究，涵盖离散时间与连续时间系统在有限与无限时域下的情况。文章建立了转轨现象、耗散性理论与稳定性之间的联系，通过收敛至稳态邻域，实现了对长时域最优控制问题的高效数值求解，并通过包括PDE约束问题在内的数值实例验证了关键结果。

ABSTRACT

The turnpike property refers to the phenomenon that in many optimal control problems, the solutions for different initial conditions and varying horizons approach a neighborhood of a specific steady state, then stay in this neighborhood for the major part of the time horizon, until they may finally depart. While early observations of the phenomenon can be traced back to works of Ramsey and von Neumann on problems in economics in 1928 and 1938, the turnpike property received continuous interest in economics since the 1960s and recent interest in systems and control. The present chapter provides an introductory overview of discrete-time and continuous-time results in finite and infinite-dimensions. We comment on dissipativity-based approaches and infinite-horizon results, which enable the exploitation of turnpike properties for the numerical solution of problems with long and infinite horizons. After drawing upon numerical examples, the chapter concludes with an outlook on time-varying, discounted, and open problems.

研究动机与目标

• 提供离散时间与连续时间设置下最优控制中转轨性质的统一概述。
• 建立无限时域最优控制问题中转轨现象与基于耗散性的分析及稳定性理论之间的联系。
• 展示转轨性质在数值求解策略中的实用性，尤其在模型预测控制（MPC）和PDE约束问题中的应用。
• 识别在时变、折现、约束及混合最优控制设置下的开放问题。
• 弥合基于最优性条件与基于耗散性的转轨分析方法之间的差距。

提出的方法

• 以耗散性理论为基础，刻画最优控制问题中的转轨行为。
• 应用无限时域最优控制理论，建立离散时间与连续时间下转轨与耗散性性质之间的等价性。
• 在PDE约束的最优控制问题中，采用目标导向型误差估计器实现空间与时间的自适应精细划分。
• 通过包含半线性与不稳定系统的PDE数值实例，验证基于转轨的求解策略的有效性。
• 利用滚动时域控制框架与通用目标的MPC，分析时变与周期性转轨。
• 比较标准误差估计器与目标导向型误差估计器在自适应有限元方法中的表现，以降低闭环代价。

实验结果

研究问题

• RQ1 在不同时域下，离散时间与连续时间最优控制问题中的转轨性质如何表现？
• RQ2 在无限时域最优控制中，耗散性与转轨行为之间存在何种关系？
• RQ3 能否利用转轨性质来提高求解长时域或PDE约束最优控制问题的数值效率？
• RQ4 将转轨理论扩展至时变、折现或混合最优控制问题时，其局限性与开放挑战是什么？
• RQ5 基于最优性条件与基于耗散性的转轨分析方法之间有何关联？在哪些问题类别中其适用性存在差异？

主要发现

• 在最优控制解中观察到转轨性质：轨迹在大部分时间区间内趋近并保持在稳态附近，仅在末段附近离开。
• 基于耗散性的方法可理论化地利用转轨性质，以高效求解长时域与无限时域最优控制问题。
• 数值结果表明，即使使用更少的网格点，目标导向型误差估计器相比标准估计器也能显著降低闭环代价。
• 对于PDE约束问题，采用目标导向型误差估计器进行自适应空间精细划分，可降低代价并提升MPC仿真中的效率。
• 在离散时间与连续时间设置下，特别是在线性二次型问题中，转轨与耗散性性质之间的等价性已得到严格确立。
• 在折现最优控制、时变转轨、转轨处存在活跃约束，以及混合整数或混合动力系统（尤其在无限维设置下）中，仍存在开放问题。