[论文解读] Optimal steering of a linear stochastic system to a final probability distribution

Yongxin Chen, Tryphon T. Georgiou+1 more|arXiv (Cornell University)|Aug 10, 2014

Advanced Thermodynamics and Statistical Mechanics被引用 6

一句话总结

本文提出了一种显式且可计算的解法，用于通过最小能量状态反馈控制，将线性随机系统从初始的高斯分布引导至目标最终的高斯分布。最优控制通过求解两个带有边界条件的耦合微分李雅普诺夫方程获得，边界条件以初始和最终协方差矩阵的闭式表达形式给出，这是在薛定谔桥框架下首次为一般高斯-马尔可夫过程提供可实施的解法。

ABSTRACT

We consider the problem to steer a linear dynamical system with full state observation from an initial gaussian distribution in state-space to a final one with minimum energy control. The system is stochastically driven through the control channels; an example for such a system is that of an inertial particle experiencing random "white noise" forcing. We show that a target probability distribution can always be achieved in finite time. The optimal control is given in state-feedback form and is computed explicitely by solving a pair of differential Lyapunov equations that are coupled through their boundary values. This result, given its attractive algorithmic nature, appears to have several potential applications such as to active control of nanomechanical systems and molecular cooling. The problem to steer a diffusion process between end-point marginals has a long history (Schrödinger bridges) and therefore, the present case of steering a linear stochastic system constitutes a Schrödinger bridge for possibly degenerate diffusions. Our results, however, provide the first implementable form of the optimal control for a general Gauss-Markov process. Illustrative examples of the optimal evolution and control for inertial particles and a stochastic oscillator are provided. A final result establishes directly the property of Schrödinger bridges as the most likely random evolution between given marginals to the present context of linear stochastic systems.

研究动机与目标

• 解决在退化噪声下线性随机系统最优控制缺乏可计算解法的问题，特别是在纳米机械系统和冷却应用中的问题。
• 为从初始到最终高斯分布引导高斯-马尔可夫过程，提供最小能量控制律的显式且可实施的形式。
• 在先验未受控扩散下，建立最优控制与两个边缘分布之间最可能演化路径（薛定谔桥）之间的直接联系。
• 通过提供数值可处理的解法，将经典薛定谔桥理论扩展至退化扩散情形，即噪声不作用于所有状态分量的情形。

提出的方法

• 通过变分分析推导最优控制，得到在有限时间区间内最小化控制能量的状态反馈形式。
• 通过求解一对前后向耦合的微分李雅普诺夫方程来计算控制律，其在 t=0 和 t=T 处的边界值相互关联。
• 李雅普诺夫方程的边界值以初始和最终状态协方差矩阵的非线性函数形式表达，且为闭式。
• 通过惯性粒子和具有奈奎斯特-约翰逊噪声的 RLC 电路的显式例子验证了解法，展示了控制性能与能量效率。
• 该方法利用最小能量控制与先验未受控过程之间的最小相对熵等价性，推广了经典薛定谔桥的性质。
• 该方法在算法上可实施，可直接应用于纳米机械系统中的主动阻尼与冷却。

实验结果

研究问题

• RQ1 能否通过可计算的控制律，对具有退化噪声的线性随机系统，从初始高斯分布最优地引导至最终高斯分布？
• RQ2 对于具有完整状态观测的一般高斯-马尔可夫过程，最小能量控制的显式形式是什么？
• RQ3 如何在不求解耦合偏微分方程的情况下，高效计算最优控制？
• RQ4 最优控制路径是否与在未受控先验下两个边缘分布之间的最可能演化路径（薛定谔桥）一致？
• RQ5 该框架能否应用于惯性粒子和 RLC 电路等实际系统，以实现主动冷却或阻尼？

主要发现

• 最优控制以状态反馈形式显式给出，并可通过两个耦合的微分李雅普诺夫方程求解，其边界条件以初始和最终协方差矩阵的闭式表达形式给出。
• 对于惯性粒子，该方法成功地在 T=1 时间内将系统从初始协方差 Σ₀ = I 引导至最终协方差 Σ₁ = ¼I，且控制输入实现了能量消耗最小化。
• 在 RLC 电路示例中，系统从初始协方差 Σ₀ = ½I 被冷却至最终协方差 Σ₁ = ¹⁄₁₆I，展示了对热噪声的有效主动阻尼。
• 最优控制路径与两个边缘分布之间的最可能演化路径（薛定谔桥）完全一致，证实了最小能量与最小相对熵之间的对偶性。
• 该方法适用于退化扩散情形——即噪声不作用于所有状态分量——将经典薛定谔桥理论从非退化情形推广至更一般情况。
• 该解法在数值上可处理，并为纳米机械谐振器和宏观谐振器的实时实现提供了直接的算法框架。