[论文解读] Neural Stochastic Control

Jingdong Zhang, Qunxi Zhu+1 more|arXiv (Cornell University)|Sep 15, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了两种神经随机控制框架——指数稳定器（ES）和渐近稳定器（AS）——利用随机李雅普诺夫理论来稳定由随机微分方程（SDEs）描述的动力系统。ES 确保指数收敛，但需要更长的训练时间；而 AS 则通过实现渐近稳定性实现更快的训练速度，从而在收敛速度和计算效率方面为诸如范德波尔振子、耦合斯图尔特-兰道系统以及细胞命运动力学等物理系统提供了互补优势。

ABSTRACT

Control problems are always challenging since they arise from the real-world systems where stochasticity and randomness are of ubiquitous presence. This naturally and urgently calls for developing efficient neural control policies for stabilizing not only the deterministic equations but the stochastic systems as well. Here, in order to meet this paramount call, we propose two types of controllers, viz., the exponential stabilizer (ES) based on the stochastic Lyapunov theory and the asymptotic stabilizer (AS) based on the stochastic asymptotic stability theory. The ES can render the controlled systems exponentially convergent but it requires a long computational time; conversely, the AS makes the training much faster but it can only assure the asymptotic (not the exponential) attractiveness of the control targets. These two stochastic controllers thus are complementary in applications. We also investigate rigorously the linear controller and the proposed neural stochastic controllers in both convergence time and energy cost and numerically compare them in these two indexes. More significantly, we use several representative physical systems to illustrate the usefulness of the proposed controllers in stabilization of dynamical systems.

研究动机与目标

• 为解决在系统模型部分未知的情况下，由于内在随机性和不确定性而带来的随机动力系统稳定化挑战。
• 开发基于神经网络的控制策略，以稳定经典线性化方法无法处理的非线性和随机系统。
• 从收敛时间与能耗的角度，对神经随机控制器与经典线性控制进行理论与实证比较。
• 通过神经 ODE（NODEs）将框架扩展至数据驱动设置，实现在细胞命运动力学等系统中的无模型控制。
• 在具有现实世界相关性的代表性物理系统上，展示所提出控制器的实际有效性。

提出的方法

• 提出两种基于神经网络的随机控制框架：基于随机李雅普诺夫理论的指数稳定器（ES），实现指数收敛；以及基于随机渐近稳定性理论的渐近稳定器（AS），实现更快训练。
• 采用全连接前馈神经网络（FNNs）学习控制函数 $\bm{u}_f$ 和 $\bm{u}_g$，用于修改 SDE 中的漂移项与扩散项：$\mathrm{d}\bm{x} = [f(\bm{x}) + \bm{u}_f(\bm{x})]\mathrm{d}t + [g(\bm{x}) + \bm{u}_g(\bm{x})]\mathrm{d}B_t$。
• 使用输入凸神经网络（ICNNs）和二次型神经网络，确保神经李雅普诺夫函数为正定且凸，从而实现稳定性的可验证性。
• 通过神经 ODE（NODEs）实现数据重建，从时间序列数据中学习潜在向量场 $\hat{f}$，从而在动力学未知的系统中实现无模型控制。
• 采用理论分析估算线性与神经随机控制器的收敛时间与能耗，实现定量比较。
• 在基准系统（范德波尔振子、耦合斯图尔特-兰道方程、细胞命运动力学）上验证框架的有效性，结合仿真与轨迹跟踪实验。

实验结果

研究问题

• RQ1 神经随机控制能否在收敛时间与能耗方面优于经典线性控制，用于随机动力系统？
• RQ2 ES 与 AS 框架在 SDE 的收敛速度、训练时间与稳定性保证方面如何比较？
• RQ3 所提出的神经随机控制能否通过时间序列数据与神经 ODE 扩展至无模型设置？
• RQ4 控制策略、李雅普诺夫函数与随机系统收敛率之间的理论关系是什么？
• RQ5 该框架在稳定复杂物理系统（如耦合振子的同步行为与细胞命运决策）方面的有效性如何？

主要发现

• 神经随机控制框架（ES 与 AS）在测试系统的收敛时间与能耗方面，均优于经典线性控制。
• ES 确保指数稳定性，但训练时间显著更长；而 AS 实现更快训练，仅保证渐近稳定性。
• 在耦合斯图尔特-兰道系统中，AS 有效稳定了同步流形，证明了其在复杂网络化动力学中的有效性。
• 在细胞命运动力学系统中，该方法通过在高阶节点上实施钉扎控制，成功将轨迹从稳定命运（P2、P3）引导至不稳定临界状态（P1）。
• 基于神经 ODE 的数据驱动扩展成功重建了向量场，并仅依赖时间序列数据即实现了有效控制，验证了无模型应用的可行性。
• 理论分析证实，神经随机控制器在非线性与随机性较强的系统中，相比线性控制，可实现更优的收敛性能与能耗效率。