[论文解读] Uniform Error Bounds for Gaussian Process Regression with Application to Safe Control

Armin Lederer, Jonas Umlauft+1 more|arXiv (Cornell University)|Jun 4, 2019

Gaussian Processes and Bayesian Inference参考文献 43被引用 17

一句话总结

本文提出了一种新颖的高斯过程回归统一误差界，通过利用高斯过程固有的概率分布和连续性论证，其假设条件比以往工作更弱。该方法可实现更紧致且具有概率保证的误差界，以及概率性利普希茨常数，从而实现对未知动力系统的可证明安全控制，在具有2个自由度的机械臂上得到验证。

ABSTRACT

Data-driven models are subject to model errors due to limited and noisy training data. Key to the application of such models in safety-critical domains is the quantification of their model error. Gaussian processes provide such a measure and uniform error bounds have been derived, which allow safe control based on these models. However, existing error bounds require restrictive assumptions. In this paper, we employ the Gaussian process distribution and continuity arguments to derive a novel uniform error bound under weaker assumptions. Furthermore, we demonstrate how this distribution can be used to derive probabilistic Lipschitz constants and analyze the asymptotic behavior of our bound. Finally, we derive safety conditions for the control of unknown dynamical systems based on Gaussian process models and evaluate them in simulations of a robotic manipulator.

研究动机与目标

• 为解决现有高斯过程回归统一误差界存在的局限性，即其依赖于不适用于现实世界安全关键应用的严格假设。
• 通过利用高斯过程的概率分布和连续性特性，推导出一种新颖的统一误差界，减少对严格先验知识的依赖。
• 从高斯过程分布中推导出概率性利普希茨常数，以提升不确定性量化能力。
• 建立在足够数据和计算资源下，误差界可渐近收敛至任意小值的理论保证。
• 基于高斯过程模型，为未知动力系统的控制建立安全条件，并通过在机械臂上的仿真验证。

提出的方法

• 利用高斯过程的条件分布和连续性论证推导统一误差界，避免依赖再生核希尔伯特空间（RKHS）。
• 应用连续模和覆盖数概念，在紧致输入集上统一有界高斯过程回归误差。
• 提出一种基于高斯过程样本路径分布的概率性利普希茨常数估计方法，实现不确定性感知的控制设计。
• 使用并集界近似方法，联合处理误差界和利普希茨常数估计的失败概率。
• 应用李雅普诺夫理论，证明基于高斯过程控制器的闭环系统具有渐近稳定性和安全性。
• 将误差界从关节空间转换到任务空间，以确保机械臂控制中状态演化的有界性。

实验结果

研究问题

• RQ1 能否在弱于以往方法的假设下，为高斯过程回归推导出统一误差界？
• RQ2 如何直接从高斯过程分布中估计概率性利普希茨常数，以用于控制应用？
• RQ3 随着训练数据和计算资源的增加，所提误差界的渐近行为如何？
• RQ4 所推导的误差界能否用于保证未知动力系统反馈控制中的安全性？
• RQ5 不均匀分布的训练数据如何影响最终安全性和跟踪误差界的紧致性？

主要发现

• 所提出的统一误差界相比以往方法具有显著更弱的假设条件，可更广泛地应用于真实系统。
• 误差界基于高斯过程的概率分布和连续性推导，避免依赖RKHS范数或难以计算的量（如最大信息增益）。
• 该方法可从高斯过程分布中估计概率性利普希茨常数，这对鲁棒控制设计至关重要。
• 渐近分析表明，当数据量和计算资源足够时，可实现任意小的误差界。
• 在2-DoF机械臂上的仿真结果表明，即使在存在噪声训练数据的情况下，控制器仍能通过将状态演化限制在预定义区域内，保证系统安全。
• 当失败概率设定为1%时，安全界较为保守；通过调整置信水平，可获得更紧致的边界。