[论文解读] The Safety Filter: A Unified View of Safety-Critical Control in Autonomous Systems

Kai–Chieh Hsu, Haimin Hu+1 more|arXiv (Cornell University)|Sep 11, 2023

Fault Detection and Control SystemsEngineering被引用 3

一句话总结

本文通过识别控制屏障函数、模型预测控制和学习证书等多样化安全过滤方法中的共同模块化结构，提出了一种用于自主系统中安全关键控制的统一理论框架。它提出了通用安全过滤定理，为分析和组合这些方法提供了可证明正确的基础，从而实现在基于学习和基于模型的控制系统中可扩展、鲁棒且高效的安全部署。

ABSTRACT

Recent years have seen significant progress in the realm of robot autonomy, accompanied by the expanding reach of robotic technologies. However, the emergence of new deployment domains brings unprecedented challenges in ensuring safe operation of these systems, which remains as crucial as ever. While traditional model-based safe control methods struggle with generalizability and scalability, emerging data-driven approaches tend to lack well-understood guarantees, which can result in unpredictable catastrophic failures. Successful deployment of the next generation of autonomous robots will require integrating the strengths of both paradigms. This article provides a review of safety filter approaches, highlighting important connections between existing techniques and proposing a unified technical framework to understand, compare, and combine them. The new unified view exposes a shared modular structure across a range of seemingly disparate safety filter classes and naturally suggests directions for future progress towards more scalable synthesis, robust monitoring, and efficient intervention.

研究动机与目标

• 通过将不同安全过滤技术统一到一个共同的理论框架下，解决安全关键控制文献中的碎片化问题。
• 实现对现有安全过滤方法（包括基于模型和数据驱动的方法）的系统性比较、组合与综合。
• 识别未来研究中在可扩展性、运行时监控和干预效率方面面临的关键挑战。
• 弥合传统基于模型的安全方法与新兴的数据驱动技术之间的鸿沟，后者缺乏形式化保证。
• 通过模块化、可组合的框架，为将学习与可证明的安全性相结合提供路线图。

提出的方法

• 基于共享的模块化结构，提出一种通用安全过滤框架：一种可覆盖任意基础策略产生的不安全动作的安全过滤器。
• 通过运行时安全验证机制定义安全过滤器，以检查候选动作在不确定性下是否保持安全。
• 提出通用安全过滤定理，将可证明正确的安全过滤器表征为满足时间递归安全条件的过滤器。
• 利用HJ（哈密顿-雅可比）可达性框架定义安全价值函数，作为隐式控制屏障函数。
• 将离线神经策略训练与基于鲁棒滚动的监控及统计边界相结合，实现实时认证。
• 采用对抗性强化学习联合训练安全控制器与最坏情况扰动策略，实现保守但有效的安全执行。

实验结果

研究问题

• RQ1 如何将从控制屏障函数到学习证书等不同安全过滤方法统一到单一理论框架下？
• RQ2 无论具体实现如何，可证明正确的安全过滤器在结构和数学性质上共享哪些共同特征？
• RQ3 如何设计安全过滤器，使其能随系统复杂性和状态维度的增加而高效扩展？
• RQ4 在不牺牲性能或安全保证的前提下，如何安全地将基于学习的策略与形式化验证技术相结合？
• RQ5 在交互式场景中，仍能提供有意义且非保守的安全保证的最小环境动力学与智能体行为假设是什么？

主要发现

• 通用安全过滤定理为安全过滤器的可证明正确性提供了必要且充分的条件，将多种不同的安全过滤类别统一到单一形式化标准下。
• 基于HJ可达性的安全过滤器可被解释为隐式控制屏障函数，从而支持使用平滑干预机制并保持形式化安全保证。
• 对抗性强化学习使安全控制器与最坏情况扰动模型能够联合训练，通过近似求解Isaacs方程提升鲁棒性。
• 通过基于鲁棒滚动的运行时认证，即使在使用学习的备用策略时，也能提供概率性安全保证，代价是一定程度的保守性。
• 安全过滤器的模块化结构使得多个安全机制的高效组合成为可能，例如将学习证书与模型预测控制相结合。
• 该框架揭示了安全与性能的分离不仅实用，而且具有基础性意义，即使在基础策略次优或通过学习获得时，也能实现安全运行。