[论文解读] Probably Approximately Correct MDP Learning and Control With Temporal Logic Constraints

Jie Fu, Ufuk Topcu|arXiv (Cornell University)|Apr 28, 2014

Formal Methods in Verification参考文献 13被引用 64

一句话总结

该论文提出了一种样本高效、基于模型的强化学习算法，用于在未知的马尔可夫决策过程（MDP）中合成控制策略，以最大化满足线性时序逻辑（LTL）规范的概率。通过迭代学习MDP转移概率并构建与规范自动机的产物MDP，该方法以多项式时间、空间和样本复杂度，在MDP规模、规范自动机规模以及精度/置信度参数下，以概率 $1-\delta$ 保证获得 $\varepsilon$-最优策略。

ABSTRACT

We consider synthesis of control policies that maximize the probability of satisfying given temporal logic specifications in unknown, stochastic environments. We model the interaction between the system and its environment as a Markov decision process (MDP) with initially unknown transition probabilities. The solution we develop builds on the so-called model-based probably approximately correct Markov decision process (PAC-MDP) methodology. The algorithm attains an $\varepsilon$-approximately optimal policy with probability $1-δ$ using samples (i.e. observations), time and space that grow polynomially with the size of the MDP, the size of the automaton expressing the temporal logic specification, $\frac{1}{\varepsilon}$, $\frac{1}δ$ and a finite time horizon. In this approach, the system maintains a model of the initially unknown MDP, and constructs a product MDP based on its learned model and the specification automaton that expresses the temporal logic constraints. During execution, the policy is iteratively updated using observation of the transitions taken by the system. The iteration terminates in finitely many steps. With high probability, the resulting policy is such that, for any state, the difference between the probability of satisfying the specification under this policy and the optimal one is within a predefined bound.

研究动机与目标

• 解决在未知、随机系统中合成控制策略的挑战，以最大化满足复杂时序逻辑规范的概率。
• 将概率近似正确（PAC-MDP）框架扩展至强化学习中，以整合时序逻辑约束。
• 确保在有限时间内收敛至一个以高概率近似最优的策略，即使初始时转移概率未知。
• 在在线学习过程中平衡探索与利用，而无需依赖独立同分布（i.i.d.）样本。
• 提供关于样本、时间和空间复杂度的理论保证，使其与关键问题参数呈多项式关系。

提出的方法

• 该方法将系统-环境交互建模为具有未知转移概率的MDP，并维护一个从观测转移中逐步更新的学习模型。
• 通过将学习到的MDP与表示LTL规范的确定性Rabin自动机组合，构建产物MDP。
• 该算法使用基于值迭代的策略更新方法，以平衡探索（以改进模型）和利用（以最大化满足概率）。
• 采用基于置信区间的探索策略，其中转移概率使用从观测频率中推导出的高概率置信区间进行更新。
• 收敛准则确保真实MDP与学习MDP之间满足概率的差异以概率 $1-\delta$ 被 $\varepsilon$ 限制。
• 理论分析通过时间步长上的伸缩和（telescoping sum）论证，界定了学习策略值函数与最优策略值函数之间的误差。

实验结果

研究问题

• RQ1 我们能否为未知MDP合成一个控制策略，以高置信度最大化满足给定LTL规范的概率？
• RQ2 在保持与问题参数多项式依赖关系的前提下，学习此类策略的样本、时间和空间复杂度是多少？
• RQ3 在在线学习中，如何在不依赖i.i.d.数据的情况下平衡探索与利用？
• RQ4 该方法能否保证所得到的策略以概率 $1-\delta$ 落在 $\varepsilon$ 以内的最优策略范围内？
• RQ5 该方法在MDP规模和时序逻辑规范复杂度增大时是否具有高效的可扩展性？

主要发现

• 所提出的算法使用多项式增长的样本数、时间和空间复杂度，以概率 $1-\delta$ 实现 $\varepsilon$-近似最优策略，其增长与MDP规模、规范自动机规模、$1/\varepsilon$、$1/\delta$ 和时间范围成多项式关系。
• 该方法确保学习策略与最优策略之间的满足概率差异对任意初始状态均被 $\varepsilon$ 限制。
• 误差界通过时间步长上的伸缩和推导得出，表明各时间步长上命中概率差异的累积值被 $\varepsilon$ 限制。
• 该算法保持了对转移概率的高概率置信区间，确保模型更新在统计上可靠，并保证收敛性。
• 该方法通过在单一迭代循环中整合学习与控制，避免了对i.i.d.样本的需求，使其适用于实时在线部署。
• 该方法是首个将PAC-MDP学习与LTL规范合成相结合的方法，能够为策略最优性和正确性提供有限时间、高概率的保证。