[论文解读] Turnpike in Lipschitz-nonlinear optimal control

Carlos Esteve, Borjan Geshkovski+2 more|arXiv (Cornell University)|Nov 22, 2020

Model Reduction and Neural Networks参考文献 44被引用 4

一句话总结

本文提出了一种针对具有全局Lipschitz（可能不可微）非线性的非线性最优控制问题的新型证明，基于可控制性构造准-turnpike控制并结合bootstrap方法。该方法在无需线性化、初始数据或目标的大小假设，也无需非线性项光滑性条件下，建立了指数turnpike估计，并适用于有限维与无限维系统，包括ResNets和如波动方程与热方程等半线性PDE。

ABSTRACT

We present a new proof of the turnpike property for nonlinear optimal control problems, when the running target is a steady control-state pair of the underlying system. Our strategy combines the construction of quasi-turnpike controls via controllability, and a bootstrap argument, and does not rely on analyzing the optimality system or linearization techniques. This in turn allows us to address several optimal control problems for finite-dimensional, control-affine systems with globally Lipschitz (possibly nonsmooth) nonlinearities, without any smallness conditions on the initial data or the running target. These results are motivated by applications in machine learning through deep residual neural networks, which may be fit within our setting. We show that our methodology is applicable to controlled PDEs as well, such as the semilinear wave and heat equation with a globally Lipschitz nonlinearity, once again without any smallness assumptions.

研究动机与目标

• 解决具有全局Lipschitz、可能不可微的非线性项，且初始数据或目标较大的非线性最优控制问题中turnpike结果缺乏的问题。
• 克服传统方法依赖Pontryagin最大值原理或线性化的局限性，后者要求光滑性与小量条件。
• 建立一个适用于有限维控制仿射系统与无限维PDE（如半线性波动与热方程）的通用框架。
• 在机器学习场景中实现turnpike分析，特别是深度残差网络（ResNets），其中激活函数如ReLU常为非光滑。
• 将turnpike性质推广至非小目标系统，并且无需$C^2$正则性或严格耗散性条件。

提出的方法

• 利用可控制性论证构造准-turnpike控制，使系统在有限时间内被引导至稳态目标。
• 应用bootstrap方法，通过系统Lipschitz连续性，迭代提升轨迹与turnpike的接近程度。
• 避免分析最优性系统或线性化动力学，从而规避对可微性或小量假设的需求。
• 利用能量估计与Gronwall型不等式控制状态偏离目标的程度，依赖非线性项的全局Lipschitz性质。
• 在大时间范围内建立控制与状态轨迹的统一有界性，确保指数收敛至turnpike。
• 通过结合半群理论、Poincaré不等式与Cauchy-Schwarz不等式，以及变分公式，将框架推广至PDE，推导稳定性估计。

实验结果

研究问题

• RQ1 能否在无需对初始数据或运行目标作小量假设的前提下，为具有全局Lipschitz、可能不可微非线性的非线性最优控制问题建立turnpike性质？
• RQ2 是否可能在不依赖线性化或最优性系统分析的前提下，证明指数turnpike估计？
• RQ3 所提出的方法能否扩展至具有Lipschitz非线性的半线性波动与热方程等无限维系统？
• RQ4 该框架是否适用于机器学习模型（如ResNets），其中激活函数通常为ReLU或sigmoid——在某些点不可微？
• RQ5 为使turnpike性质在时间 horizon 上一致成立，系统所需的最小结构假设是什么（例如控制仿射性、全局Lipschitz性）？

主要发现

• 对于具有全局Lipschitz非线性的有限维控制仿射系统，即使非线性项非$C^1$，且初始数据或目标无小量假设，turnpike性质依然成立。
• 对于具有全局Lipschitz非线性的半线性热方程与波动方程，同样在无小量初始数据或目标偏差的条件下建立了turnpike性质。
• 该方法构造的控制可在有限时间内将系统引导至目标，并在大部分时间区间内保持其接近turnpike，且具有指数收敛速率。
• 证明过程避免了线性化与最优性系统分析，转而依赖可控制性与bootstrap方法，因此对非光滑动力学具有鲁棒性。
• 该框架可直接应用于深度残差网络（ResNets），其中激活函数通常为ReLU或sigmoid，表明最优控制在时间区间内大部分时间保持在稳态解附近。
• 该方法无法直接推广至立方热方程，原因在于$u_T$的$ L^2 $控制范数缺乏统一有界性，但若能建立此类有界性，则可能性仍存。