[论文解读] Symbolic control of stochastic systems via approximately bisimilar finite abstractions

Majid Zamani, Peyman Mohajerin Esfahani+3 more|arXiv (Cornell University)|Feb 15, 2013

Formal Methods in Verification参考文献 33被引用 1

一句话总结

本文提出了一种针对由受控随机微分方程建模的随机系统的符号控制框架，采用在矩意义下ε-近似双仿真（ε-approximately bisimilar）的有限状态抽象。研究证明，任何满足概率增量输入到状态稳定性（probabilistic incremental input-to-state stability）性质的系统，对于任意ε > 0，均可构造出有限抽象，从而通过有限状态合成技术实现对复杂线性时序逻辑（LTL）规范的正确性构造控制器合成。

ABSTRACT

Symbolic approaches to the control design over complex systems employ the construction of finite-state models that are related to the original control systems, then use techniques from finite-state synthesis to compute controllers satisfying specifications given in a temporal logic, and finally translate the synthesized schemes back as controllers for the concrete complex systems. Such approaches have been successfully developed and implemented for the synthesis of controllers over non-probabilistic control systems. In this paper, we extend the technique to probabilistic control systems modeled by controlled stochastic differential equations. We show that for every stochastic control system satisfying a probabilistic variant of incremental input-to-state stability, and for every given precision $\varepsilon>0$, a finite-state transition system can be constructed, which is $\varepsilon$-approximately bisimilar (in the sense of moments) to the original stochastic control system. Moreover, we provide results relating stochastic control systems to their corresponding finite-state transition systems in terms of probabilistic bisimulation relations known in the literature. We demonstrate the effectiveness of the construction by synthesizing controllers for stochastic control systems over rich specifications expressed in linear temporal logic. The discussed technique enables a new, automated, correct-by-construction controller synthesis approach for stochastic control systems, which are common mathematical models employed in many safety critical systems subject to structured uncertainty and are thus relevant for cyber-physical applications.

研究动机与目标

• 为解决连续时间随机控制系统在控制输入下缺乏有限双仿真抽象的问题。
• 将符号控制技术——此前仅限于非概率系统——扩展至具有结构化不确定性的随机系统。
• 实现对随机动力学系统上丰富时序逻辑规范的自动化、正确性构造控制器合成。
• 通过概率双仿真概念，建立随机控制系统与其有限状态抽象之间的正式定量关系。
• 通过针对具有LTL规范的随机线性时变（LTV）系统的控制器合成，展示该方法的可行性和有效性。

提出的方法

• 构建一个有限状态转移系统（符号模型），使其在矩的意义上与原始随机控制系统ε-近似双仿真。
• 使用δ-ISS-Mq李雅普诺夫函数刻画系统的概率增量稳定性，确保抽象的存在性。
• 应用采样时间τ和状态/输入量化，对连续状态和控制输入空间进行离散化，形成有限抽象Sq(Σ)。
• 利用定理5.1的结果，确定量化参数η，使得抽象满足ε-近似双仿真条件。
• 应用有限状态反应式合成算法，为符号模型计算满足给定LTL规范的控制器。
• 将符号模型中合成的控制器回退映射至原始随机系统，同时提供满足规范的概率保证。

实验结果

研究问题

• RQ1 能否为连续时间随机控制系统构造有限状态抽象，以保持时序逻辑规范下控制器的正确性？
• RQ2 何种稳定性条件可确保随机系统存在ε-近似双仿真的有限抽象？
• RQ3 在概率设定下，如何正式量化原始随机系统与其有限抽象之间的关系？
• RQ4 当从符号模型将控制器精炼至实际系统时，满足LTL规范的概率保证是什么？
• RQ5 该方法是否可应用于具有非零控制输入和非自治动力学的系统？

主要发现

• 对于任意ε > 0，只要系统满足概率增量输入到状态稳定性性质，即可构造出与原始随机控制系统ε-近似双仿真的有限状态转移系统。
• 当ε = 1且τ = 0.01时，构造的符号模型具有1,002,001个状态和11个输入，抽象计算耗时148.092秒。
• 针对LTL规范32W ∧ 2Z（即进入并停留在W，同时保持当前在Z）的控制器合成耗时3.88秒，经验平均距离至W和Z显著低于ε = 1。
• 以至少79%的概率，符号模型中满足ϕ的控制器可确保在无限时间范围内，原始系统满足ϕ1（1-膨胀公式）的规范。
• 在给定系统约束下，以至少70%的概率，精炼后的控制器在离散时间区间{0, 0.01, ..., 1}秒内满足1-膨胀规范。
• 该方法实现了对具有丰富时序逻辑规范的随机系统的正确性构造控制器合成，经大量仿真验证。