[论文解读] Turnpike and dissipativity in generalized discrete-time stochastic linear-quadratic optimal control

Jonas Schießl, Ruchuan Ou+3 more|arXiv (Cornell University)|Sep 11, 2023

Stochastic processes and financial applicationsEconomics, Econometrics and Finance被引用 3

一句话总结

本文提出了一种基于 $L^2$ 的新型时变耗散性框架，用于广义离散时间随机线性二次最优控制问题，以平稳随机过程对替代确定性稳态。该框架建立了该耗散性与多种能稳现象之间的等价关系——路径依概率、依分布（通过 Wasserstein 距离）以及矩（一阶与二阶矩）意义上的能稳行为。证明了该平稳过程对唯一求解一个平稳优化问题。

ABSTRACT

We investigate different turnpike phenomena of generalized discrete-time stochastic linear-quadratic optimal control problems. Our analysis is based on a novel strict dissipativity notion for such problems, in which a stationary stochastic process replaces the optimal steady state of the deterministic setting. We show that from this time-varying dissipativity notion, we can conclude turnpike behaviors concerning different objects like distributions, moments, or sample paths of the stochastic system and that the distributions of the stationary pair can be characterized by a stationary optimization problem. The analytical findings are illustrated by numerical simulations.

研究动机与目标

• 将确定性能稳与耗散性理论扩展至具有非零均值噪声及阶段代价中线性项的广义随机线性二次最优控制问题。
• 基于随机变量的 $L^2$-范数，提出一种新的时变耗散性概念，以平稳随机过程对替代确定性平衡态。
• 证明该耗散性可导致多种类型的能稳行为：依概率的路径能稳、依分布的能稳（通过 Wasserstein 距离度量）以及一阶与二阶矩的能稳。
• 通过一个唯一的平稳优化问题，表征最优解对的平稳分布。
• 通过数值模拟验证理论结果，涵盖高斯噪声与非高斯噪声分布。

提出的方法

• 提出一种基于系统状态与平稳随机过程对之间 $L^2$-范数（均方距离）的时变耗散性概念，而非依赖于确定性平衡态。
• 显式构造广义随机 LQ OCP 的存储函数，证明在包括非零均值噪声和阶段代价中线性项在内的广义条件下，系统满足严格耗散性。
• 采用二阶 Wasserstein 距离度量最优轨迹分布与平稳对分布之间的距离，实现分布意义上的能稳分析。
• 构建一个平稳优化问题，唯一表征平稳过程对的分布，将其与文献中已有的耗散性框架相联系。
• 对二维系统进行数值模拟，采用高斯与均匀分布的 i.i.d. 噪声，比较不同时间跨度下的状态/控制轨迹、Wasserstein 距离及矩演化。
• 证明即使在非高斯噪声下全分布无法解析求解，其矩（期望与方差）演化仍收敛至平稳分布的矩。

实验结果

研究问题

• RQ1 能否为随机 LQ 问题定义一种基于随机变量 $L^2$-范数的时变耗散性概念，以替代确定性稳态？
• RQ2 该新耗散性概念是否能保证即使在非零均值非高斯噪声下，仍存在依概率的路径能稳行为？
• RQ3 在随机设定下，最优解对的平稳分布是否能通过一个平稳优化问题唯一表征？
• RQ4 在一般噪声分布下，能稳行为在分布（通过 Wasserstein 距离）与矩（期望与方差）方面表现到何种程度？
• RQ5 理论耗散性与能稳结果在多大程度上可从高斯假设推广至具有有限一阶与二阶矩的任意分布？

主要发现

• 所提出的基于 $L^2$ 的耗散性概念在广义随机 LQ OCP 中严格成立，即使阶段代价中含线性项且噪声具有非零均值。
• 由平稳优化问题表征的平稳随机过程对作为广义平衡态，替代了能稳框架中的确定性稳态。
• 建立了依概率的路径能稳行为：在大多数时间范围内，最优轨迹在 $L^2$ 意义下保持接近平稳对，数值模拟中固定噪声实现下已得到验证。
• 随着时间跨度增加，最优轨迹分布与平稳对分布之间的二阶 Wasserstein 距离收敛至零，证实了分布意义上的能稳行为。
• 即使在非高斯噪声下，只要一阶与二阶矩有限，最优轨迹的一阶与二阶矩仍收敛至平稳分布的矩。
• 数值结果表明，高斯与均匀噪声分布下均观察到相同的能稳行为，证明了该理论在高斯假设之外的鲁棒性。