[论文解读] Safety Guarantees for Planning Based on Iterative Gaussian Processes

Kyriakos Polymenakos, Luca Laurenti+6 more|arXiv (Cornell University)|Nov 29, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用 7

一句话总结

本文提出了一种方法，用于计算高斯过程（GP）在多步迭代预测中轨迹的正式概率边界，确保GP轨迹以至少 $1 - \epsilon$ 的概率位于计算出的区间内。通过利用GP的特性与区间传播，该方法为开环和闭环控制系统的安全性提供了严格保证，优于启发式近似方法在不确定性传播方面的表现，并在基于模型的强化学习中实现了认证安全性。

ABSTRACT

Gaussian Processes (GPs) are widely employed in control and learning because of their principled treatment of uncertainty. However, tracking uncertainty for iterative, multi-step predictions in general leads to an analytically intractable problem. While approximation methods exist, they do not come with guarantees, making it difficult to estimate their reliability and to trust their predictions. In this work, we derive formal probability error bounds for iterative prediction and planning with GPs. Building on GP properties, we bound the probability that random trajectories lie in specific regions around the predicted values. Namely, given a tolerance $ε> 0 $, we compute regions around the predicted trajectory values, such that GP trajectories are guaranteed to lie inside them with probability at least $1-ε$. We verify experimentally that our method tracks the predictive uncertainty correctly, even when current approximation techniques fail. Furthermore, we show how the proposed bounds can be employed within a safe reinforcement learning framework to verify the safety of candidate control policies, guiding the synthesis of provably safe controllers.

研究动机与目标

• 为解决在控制和强化学习等安全关键应用中，迭代GP预测缺乏正式不确定性边界的不足。
• 开发一种方法，即使在输入不确定性为非高斯和非线性的情况下，也能计算出在多个时间步长上GP轨迹的紧致、概率保证的边界。
• 将控制律纳入不确定性传播框架，实现基于GP建模的闭环系统的安全性认证。
• 提供一种计算高效、数据驱动的算法，直接从GP超参数计算边界，而无需假设特定模型形式。
• 在合成系统和真实世界系统上验证该方法，证明其在不确定性跟踪和安全性验证方面优于现有近似技术。

提出的方法

• 该方法利用GP特性推导正式概率边界，确保轨迹以至少 $1 - \epsilon$ 的概率位于计算区间内。
• 通过在每个时间步长计算输入区域上的上确界概率，实现不确定性在迭代预测中的传播。
• 该方法使用引理1来限制误差传播的概率，将点误差替换为输入区间上的上确界，以保持概率保证。
• 通过将控制输入视为输入空间的一部分，将其纳入框架，使边界能够反映反馈和开环策略的影响。
• 该算法直接从数据和GP超参数计算所有中间值（如误差边界和区间上确界），实现高效且与模型无关的计算。
• 该框架支持线性和非线性动力学，并在具有不同维度、控制输入和动力学（线性、二次和非线性）的系统上进行了验证。

实验结果

研究问题

• RQ1 能否为在非线性输入不确定性下仍保持有效的迭代GP预测推导出正式的概率边界？
• RQ2 如何在不依赖启发式近似的情况下，保证多步GP预测中的不确定性传播？
• RQ3 当现有方法失效时，所提出的边界在多大程度上能捕捉GP轨迹的真实不确定性？
• RQ4 该边界能否有效集成到控制策略验证中，以确保闭环系统的安全性？
• RQ5 在包括线性、非线性和多维情况在内的不同系统动力学下，这些边界的行为如何？

主要发现

• 所提出的方法成功计算出概率边界，即使在存在非线性输入不确定性的情况下，也能保证GP轨迹以至少 $1 - \epsilon$ 的概率位于指定区间内。
• 在所有案例研究中，边界随时间收缩，正确反映了系统的收缩行为，包括状态不独立的情况。
• 该方法优于最先进的近似技术（如矩匹配），后者未能正确传播不确定性并低估了风险。
• 在具有两个控制输入的2D系统中，边界随时间收缩，表明不确定性与控制器影响被正确传播。
• 在具有两个控制输入的3D线性系统中，边界正确识别了收缩动力学，即使在某一状态变量的边界宽度恒定的情况下，也反映了系统的稳定性。
• 该方法实现了对开环和反馈控制策略的正式认证，为基于GP的模型在强化学习中的应用提供了可验证的安全保证。