[论文解读] Safe Exploration in Finite Markov Decision Processes with Gaussian Processes

Matteo Turchetta, Felix Berkenkamp+1 more|arXiv (Cornell University)|Jun 1, 2016

Fault Detection and Control Systems被引用 53

一句话总结

本文提出 SAFEMDP，一种新颖的算法，用于在有限马尔可夫决策过程（MDP）中实现安全探索，利用高斯过程对未知的安全约束进行建模。通过结合谨慎探索与可达性感知规划，SAFEMDP 确保在存在噪声观测的情况下，完全探索所有安全可达的状态空间，且不会违反安全约束。

ABSTRACT

In classical reinforcement learning agents accept arbitrary short term loss for long term gain when exploring their environment. This is infeasible for safety critical applications such as robotics, where even a single unsafe action may cause system failure or harm the environment. In this paper, we address the problem of safely exploring finite Markov decision processes (MDP). We define safety in terms of an a priori unknown safety constraint that depends on states and actions and satisfies certain regularity conditions expressed via a Gaussian process prior. We develop a novel algorithm, SAFEMDP, for this task and prove that it completely explores the safely reachable part of the MDP without violating the safety constraint. To achieve this, it cautiously explores safe states and actions in order to gain statistical confidence about the safety of unvisited state-action pairs from noisy observations collected while navigating the environment. Moreover, the algorithm explicitly considers reachability when exploring the MDP, ensuring that it does not get stuck in any state with no safe way out. We demonstrate our method on digital terrain models for the task of exploring an unknown map with a rover.

研究动机与目标

• 在安全约束事先未知但具有规律性且通过高斯过程建模的有限 MDP 中，实现安全探索。
• 开发一种算法，完全探索所有安全可达状态，且不违反安全约束。
• 通过在探索过程中显式考虑可达性，确保智能体不会被困在无安全出口的状态中。
• 通过谨慎的、基于观测的学习，逐步建立对未访问状态-动作对安全性的统计置信度。

提出的方法

• 将安全约束建模为状态-动作对上的高斯过程先验，以编码对安全性的先验信念。
• 利用环境交互中的噪声观测更新对安全性的信念，从而细化对未访问状态-动作对的置信度。
• 设计一种探索策略，优先选择安全状态和动作，同时保持可达性，以避免陷入死胡同。
• 将可达性分析整合到规划过程中，确保所有探索过的状态都能安全退出。
• 采用置信区间方法平衡探索与安全性，仅在安全性具有统计可能性时才扩展到未访问区域。

实验结果

研究问题

• RQ1 当安全约束未知但具有平滑性和规律性时，如何安全地探索一个未知的有限 MDP？
• RQ2 何种算法结构能够实现在不违反安全约束的前提下，完全探索安全可达状态空间？
• RQ3 如何确保智能体在探索过程中不会被困在无安全出口的状态中？
• RQ4 高斯过程先验在有限且带有噪声的观测下，能在多大程度上支持可靠的安全部署？

主要发现

• SAFEMDP 在不违反安全约束的前提下，成功探索了 MDP 中所有安全可达区域。
• 通过确保所有探索过的状态都具有安全退出路径，该算法维持了可达性，防止了被困。
• 通过谨慎探索和观测收集，对安全性的统计置信度被逐步建立。
• 该方法在数字地形模型上展示了可行性，表明在未知环境中，使用火星车实现有效安全探索。