[论文解读] Optimal Control of MDPs with Temporal Logic Constraints

Mária Svoreňová, Ivana Černá+1 more|arXiv (Cornell University)|Mar 8, 2013

Formal Methods in Verification参考文献 14被引用 6

一句话总结

本文提出了一种在马尔可夫决策过程（MDPs）中合成控制策略的最优算法，该策略满足线性时态逻辑（LTL）规范，同时最小化连续访问监控状态之间的期望平均成本。通过结合基于自动机的模型检测与博弈论技术，该方法计算出一种有限记忆策略，确保了正确性与最优性，在机器人监控案例研究中实现了每周期40.5的最优平均成本，优于以往基于动态规划的次优方法。

ABSTRACT

In this paper, we focus on formal synthesis of control policies for finite Markov decision processes with non-negative real-valued costs. We develop an algorithm to automatically generate a policy that guarantees the satisfaction of a correctness specification expressed as a formula of Linear Temporal Logic, while at the same time minimizing the expected average cost between two consecutive satisfactions of a desired property. The existing solutions to this problem are sub-optimal. By leveraging ideas from automata-based model checking and game theory, we provide an optimal solution. We demonstrate the approach on an illustrative example.

研究动机与目标

• 解决在具有实值成本的MDPs中，针对LTL约束的最优控制合成方面的空白。
• 开发一种方法，确保满足时序逻辑规范的同时，最小化对目标状态连续访问之间的期望平均成本。
• 克服文献中基于动态规划的解决方案的次优性。
• 利用博弈论与概率模型检测的最新进展，为完整LTL规范提供一个可靠且完备的解决方案。

提出的方法

• 在原始MDP与表示LTL公式的Rabin自动机之间构建产品MDP。
• 识别产品MDP中支持满足LTL规范的长期行为的最大终态组件（MAECs）。
• 应用博弈论技术，计算每个MAEC内最小化每周期平均成本的最优策略。
• 使用有限记忆策略，首先到达一个MAEC，然后在其中遵循最优策略。
• 利用$1\frac{1}{2}$-player博弈论的最新成果，确保解的最优性。
• 集成一条规则，可在可能时动态缩短监控阶段，从而在不牺牲最优性的情况下提高效率。

Figure 1 : Illustration of Alg. 1 . A part of an MAEC $\mathcal{N}$ is shown in the left. An auxiliary MDP $X$ is constructed by transforming actions of $\mathcal{N}$ to partial stationary strategies. The MDP $X$ after eliminating the state $v$ is shown on the right. The costs associated with action

实验结果

研究问题

• RQ1 我们能否为MDP合成一种控制策略，以保证满足LTL公式，同时最小化对监控状态连续访问之间的期望平均成本？
• RQ2 是否能够在此类控制合成问题中实现最优性，而非依赖于次优的动态规划启发式方法？
• RQ3 如何结合基于自动机的模型检测与博弈论技术，以解决在时序逻辑约束下的最优控制问题？
• RQ4 从有限记忆控制与分阶段执行的角度来看，最优策略的结构是怎样的？
• RQ5 与现有次优方法相比，该方法在每周期平均成本方面的定量表现如何？

主要发现

• 在机器人监控案例研究中，所提方法实现了40.5的最优每周期平均成本（ACPC），低于文献[11]中次优方法实现的50.5 ACPC。
• 每轮平均执行任务数为130，中位数仅为14，表明性能稳定且高效，与轮次历史无关。
• 在98%的执行中，使用优化规则缩短了每轮的第二阶段，显著减少了不必要的监控周期。
• 对于第2轮及以后的轮次，第一阶段（返回基地）的步数始终为5，这是由于从任务状态到基地的路径是固定的。
• 最优策略被合成一种有限记忆策略，其首先到达一个最大终态组件（MAEC），然后在其中遵循最优策略。
• 该解对完整LTL是可靠且完备的，为该类问题提供了首个最优解，而此前的方法均为次优的。

Figure 2 : (a) Initialized MDP $\mathcal{M}$ with initial state 0. The costs of applying $\alpha,\beta,\gamma$ in any states are 5, 10, 1, respectively, e.g., $g(1,\alpha)=5$ . (b) Definitions of strategies $C_{init},C_{p1},C_{p2}$ for $\mathcal{M}$ , the projections of strategies $C_{0},C_{\mathcal