[论文解读] Symbolic Control for Stochastic Systems via Parity Games.

Rupak Majumdar, Kaushik Mallik+2 more|arXiv (Cornell University)|Jan 4, 2021

Formal Methods in Verification参考文献 37被引用 4

一句话总结

本文提出了一种用于随机非线性系统的符号控制方法，用于计算满足 $ω$-正则规范说明的最大概率的下界。通过仅使用转移概率的支持，将问题约化为一个 $2\frac{1}{2}$-玩家公平游戏，该方法计算了定性获胜区域的下近似，并结合可达性综合，得到了满足概率的可证明正确的下界，该方法在受扰动的Dubins车辆模型上得到了验证。

ABSTRACT

We consider the problem of computing the maximal probability of satisfying an $\omega$-regular specification for stochastic, continuous-state, nonlinear systems evolving in discrete time. The problem reduces, after automata-theoretic constructions, to finding the maximal probability of satisfying a parity condition on a (possibly hybrid) state space. While characterizing the exact satisfaction probability is open, we show that a lower bound on this probability can be obtained by (I) computing an under-approximation of the qualitative winning region, i.e., states from which the parity condition can be enforced almost surely, and (II) computing the maximal probability of reaching this qualitative winning region. The heart of our approach is a technique to symbolically compute the under-approximation of the qualitative winning region in step (I) via a finite-state abstraction of the original system as a $2\frac{1}{2}$-player parity game. Our abstraction procedure uses only the support of the probabilistic evolution; it does not use precise numerical transition probabilities. We prove that the winning set in the abstract $2\frac{1}{2}$-player game induces an under-approximation of the qualitative winning region in the original synthesis problem, along with a policy to solve it. By combining these contributions with (a) existing symbolic fixpoint algorithms to solve $2\frac{1}{2}$-player games and (b) existing techniques for reachability policy synthesis in stochastic nonlinear systems, we get an abstraction-based symbolic algorithm for finding a lower bound on the maximal satisfaction probability. We have implemented our approach and evaluated it on the nonlinear model of the perturbed Dubins vehicle.

研究动机与目标

• 计算随机连续状态非线性系统中满足 $ω$-正则规范说明的最大概率的下界。
• 解决当精确满足概率难以计算时，为这类系统合成控制策略的挑战。
• 开发一种仅基于概率转移支持的系统有限状态抽象，以保持定性获胜区域。
• 通过 $2\frac{1}{2}$-玩家公平游戏实现控制策略的符号计算，而无需精确的转移概率。
• 结合符号不动点算法与可达性综合，为随机非线性系统提供一种实用且可扩展的算法。

提出的方法

• 使用自动机理论构造方法，将综合问题约化为混合状态空间上的公平条件。
• 基于概率转移的仅支持，构建原始系统的有限状态抽象，形成 $2\frac{1}{2}$-玩家公平游戏。
• 符号计算抽象游戏中定性获胜区域的下近似，该近似诱导出原始系统中获胜区域的下界。
• 利用符号不动点算法求解抽象的 $2\frac{1}{2}$-玩家游戏，并提取控制策略。
• 将下近似的获胜区域与可达性策略综合相结合，以计算其到达的最大概率。
• 利用所得策略推导出原始规范说明最大满足概率的下界。

实验结果

研究问题

• RQ1 是否可以在不依赖精确转移概率的情况下，为随机非线性系统计算 $ω$-正则规范说明最大满足概率的下界？
• RQ2 如何构建一个连续状态随机系统的有限状态抽象，以保持公平条件的定性获胜区域？
• RQ3 基于 $2\frac{1}{2}$-玩家公平游戏的符号方法在多大程度上可用于合成具有随机动力学的非线性系统的控制策略？
• RQ4 抽象游戏中获胜集与原始系统中定性获胜区域之间的关系是什么？
• RQ5 所提出的基于抽象的方法是否能在实际的非线性控制模型上有效实现并评估？

主要发现

• 所提出的抽象方法在原始随机系统中诱导出定性获胜区域的可证明正确的下近似。
• 该方法通过将下近似的获胜区域与可达性概率分析相结合，计算出最大满足概率的下界。
• 该抽象仅依赖于概率转移的支持，避免了对精确数值概率的需求。
• 用于求解抽象 $2\frac{1}{2}$-玩家游戏的符号不动点算法在该抽象上具有可扩展性和有效性。
• 该方法在受扰动的Dubins车辆非线性模型上成功实现并得到评估，展示了其实际适用性。
• 所得策略确保从下近似的获胜区域出发，几乎必然满足公平条件，并提供了整体满足概率的可量化下界。