[论文解读] Run Time Assurance for Safety-Critical Systems: An Introduction to Safety Filtering Approaches for Complex Control Systems

Kerianne L. Hobbs, Mark Mote+3 more|arXiv (Cornell University)|Oct 7, 2021

Safety Systems Engineering in Autonomy被引用 8

一句话总结

本文提出运行时保证（RTA）作为一种安全关键控制框架，通过在线验证机制，利用备份控制器强制执行安全约束，过滤来自复杂或未经验证的主要控制器（如神经网络或人工操作员）的不安全控制输入。关键贡献在于一种模块化、与具体控制器无关的RTA架构，可在不重新验证主要控制器的前提下确保安全性，通过实际应用（如Auto GCAS和Robotarium实验室）展示了其有效性，采用控制屏障函数和混合单调性实现高效的可达性分析。

ABSTRACT

Run Time Assurance (RTA) Systems are online verification mechanisms that filter an unverified primary controller output to ensure system safety. The primary control may come from a human operator, an advanced control approach, or an autonomous control approach that cannot be verified to the same level as simpler control systems designs. The critical feature of RTA systems is their ability to alter unsafe control inputs explicitly to assure safety. In many cases, RTA systems can functionally be described as containing a monitor that watches the state of the system and output of a primary controller, and a backup controller that replaces or modifies control input when necessary to assure safety. An important quality of an RTA system is that the assurance mechanism is constructed in a way that is entirely agnostic to the underlying structure of the primary controller. By effectively decoupling the enforcement of safety constraints from performance-related objectives, RTA offers a number of useful advantages over traditional (offline) verification. This article provides a tutorial on developing RTA systems.

研究动机与目标

• 解决在航空和机器人等安全关键应用中，对复杂智能控制系统（尤其是神经网络）进行验证的日益严峻挑战。
• 通过将安全执行与性能目标解耦，减轻对性能驱动型控制器的正式验证和认证负担。
• 通过提供一种与主要控制器内部结构无关的运行时安全层，实现自主和半自主系统的安全部署。
• 在实际系统中展示RTA的实用实现，例如F-16的Auto GCAS和多机器人测试平台Robotarium。

提出的方法

• RTA采用监控器实时观测系统状态和主要控制器输出，当检测到不安全行为时触发备份控制器。
• 备份控制器通过控制屏障函数（CBFs）使用二次规划方法修改或替换不安全的控制输入，以强制执行安全约束。
• 利用混合单调性构建一个2n维嵌入系统，实现对受扰动下可达集的高效超长方体过近似。
• 该方法利用分解函数d分离合作性与竞争性状态交互，使具有不确定性的系统能够实现可处理的可达性分析。
• 在Robotarium实验室中使用显式ASIF（仿射-安全输入过滤）实现，对用户指定的机器人控制输入进行最小侵入、平滑的覆盖。
• 通过单次对嵌入系统的仿真计算可达集，边界由状态轨迹的前n个和后n个分量导出。

实验结果

研究问题

• RQ1 如何在不需对主要控制器进行完整正式验证的前提下，实现实时保证复杂且未经验证的控制系统（如神经网络控制器）的安全性？
• RQ2 运行时保证系统在实现自主系统在安全关键领域中的认证与部署中起到何种作用？
• RQ3 如何利用混合单调性和嵌入系统高效地对受扰动系统执行可达性分析？
• RQ4 与传统对性能导向控制器的离线验证相比，RTA在多大程度上减轻了验证负担？
• RQ5 在如无人飞机和多机器人测试平台等实际系统中，RTA存在哪些实际权衡与局限性？

主要发现

• Auto GCAS系统成功在9,000英尺高度从接近碰撞的俯冲中恢复F-16飞行状态，证明了RTA在真实飞行操作中挽救生命的潜力。
• RTA使新控制算法能够在不需对主要控制器进行完整安全认证的前提下安全部署于硬件平台，显著缩短开发与认证时间。
• 基于控制屏障函数的RTA系统可实现为显式ASIF，提供平滑、最小侵入的覆盖，同时保持期望的系统行为。
• 混合单调性实现了高效、单次仿真计算的超长方体过近似，即使在受扰动条件下亦可实现。
• 在Robotarium实验室中，RTA通过将用户提交的机器人控制算法视为黑箱并应用实时过滤，确保了可证明的安全性。
• RTA框架与主要控制器的结构无关，允许在不同控制设计中复用保证机制，而无需重新验证。