[论文解读] Shielded Decision-Making in MDPs.

Nils Jansen, Bettina Könighofer+2 more|arXiv (Cornell University)|Jul 16, 2018

Formal Methods in Verification参考文献 34被引用 24

一句话总结

本文提出了一种用于马尔可夫决策过程（MDPs）强化学习的屏蔽机制，通过概率时序逻辑约束确保安全性。通过利用MDP中固有的不确定性，该屏蔽机制计算决策概率以强制执行安全策略，同时保持接近最优的学习效率，将PAC-MAN的训练回合数减少了数个数量级。

ABSTRACT

A prominent problem in artificial intelligence and machine learning is the safe exploration of an environment. In particular, reinforcement learning is a well-known technique to determine optimal policies for complicated dynamic systems, but suffers from the fact that such policies may induce harmful behavior. We present the concept of a shield that forces decision-making to provably adhere to safety requirements with high probability. Our method exploits the inherent uncertainties in scenarios given by Markov decision processes. We present a method to compute probabilities of decision making regarding temporal logic constraints. We use that information to realize a shield that---when applied to a reinforcement learning algorithm---ensures (near-)optimal behavior both for the safety constraints and for the actual learning objective. In our experiments, we show on the arcade game PAC-MAN that the learning efficiency increases as the learning needs orders of magnitude fewer episodes. We show tradeoffs between sufficient progress in exploration of the environment and ensuring strict safety.

研究动机与目标

• 解决强化学习中不安全探索的挑战，即策略在训练过程中可能引发有害行为。
• 开发一种方法，确保在MDPs中遵守安全约束，同时不损害学习效率。
• 在时序逻辑约束下计算概率性决策，以实现安全且高效的探索。
• 将屏蔽机制集成到强化学习流水线中，同时保持安全与学习目标的近似最优性。
• 评估在动态环境中探索进展与严格安全执行之间的权衡。

提出的方法

• 该方法引入一种屏蔽机制，基于从时序逻辑规范推导出的概率安全约束，实时监控并纠正动作。
• 利用MDP中的固有不确定性，计算在当前策略决策下满足时序逻辑约束的概率。
• 屏蔽机制利用这些概率判断某一提议动作是否极有可能违反安全约束，并在必要时覆盖不安全动作。
• 该方法可与任意强化学习算法集成，使其在可证明遵守安全性的前提下学习近似最优策略。
• 屏蔽机制通过以约束违反概率为依据评估每项动作的风险，动态平衡探索与安全。
• 该框架在PAC-MAN环境中进行了评估，显著减少了所需的训练回合数。

实验结果

研究问题

• RQ1 如何在保持高学习效率的同时，使强化学习智能体安全地探索环境？
• RQ2 通过概率时序逻辑强制执行安全约束，对学习速度和策略质量有何影响？
• RQ3 如何利用MDP中的不确定性，计算用于实时屏蔽的安全决策概率？
• RQ4 在强化学习中，探索进展与严格安全执行之间存在何种权衡？
• RQ5 能否设计一种屏蔽机制，在确保安全的同时保持学习目标的近似最优性？

主要发现

• 屏蔽机制在PAC-MAN中显著减少了所需训练回合数，实现了数量级的学习效率提升。
• 该方法能以高概率识别并纠正违反安全约束的动作，从而在整个训练过程中保持安全性。
• 屏蔽机制与强化学习的集成在主要学习目标上保持了近似最优性能。
• 该方法实现了探索进展与安全执行之间可调节的权衡，使实践者能够平衡风险与学习速度。
• 对时序逻辑约束的概率分析，使得在不确定的MDP环境中能够实现有效且可证明的安全保障。