[论文解读] Safe Control with Neural Network Dynamic Models

Tianhao Wei, Changliu Liu|arXiv (Cornell University)|Oct 3, 2021

Fault Detection and Control Systems参考文献 12被引用 8

一句话总结

该论文提出MIND-SIS，这是首个通过结合基于进化算法的离线安全指数合成与基于混合整数规划的在线最优控制，为神经网络动态模型（NNDMs）合成安全控制的方法。该方法保证了安全集的前向不变性，并在数值验证中实现了小于$10^{-8}$的最优性差距和零安全违规。

ABSTRACT

Safety is critical in autonomous robotic systems. A safe control law ensures forward invariance of a safe set (a subset in the state space). It has been extensively studied regarding how to derive a safe control law with a control-affine analytical dynamic model. However, in complex environments and tasks, it is challenging and time-consuming to obtain a principled analytical model of the system. In these situations, data-driven learning is extensively used and the learned models are encoded in neural networks. How to formally derive a safe control law with Neural Network Dynamic Models (NNDM) remains unclear due to the lack of computationally tractable methods to deal with these black-box functions. In fact, even finding the control that minimizes an objective for NNDM without any safety constraint is still challenging. In this work, we propose MIND-SIS (Mixed Integer for Neural network Dynamic model with Safety Index Synthesis), the first method to derive safe control laws for NNDM. The method includes two parts: 1) SIS: an algorithm for the offline synthesis of the safety index (also called as barrier function), which uses evolutionary methods and 2) MIND: an algorithm for online computation of the optimal and safe control signal, which solves a constrained optimization using a computationally efficient encoding of neural networks. It has been theoretically proved that MIND-SIS guarantees forward invariance and finite convergence. And it has been numerically validated that MIND-SIS achieves safe and optimal control of NNDM. From our experiments, the optimality gap is less than $10^{-8}$, and the safety constraint violation is $0$.

研究动机与目标

• 为解决缺乏计算上可行的方法来推导基于黑箱神经网络动态模型（NNDMs）的安全控制律的问题。
• 在存在NNDM不确定性与非线性的情况下，确保持续可行性与前向不变性。
• 开发一个集成框架，用于合成控制不变的安全指数，并在线计算最优安全控制输入。
• 在复杂约束条件下，实现基于NNDM控制的最优性与安全性保证。

提出的方法

• SIS（安全指数合成）利用进化算法学习一个参数化的安全指数（屏障函数），以确保安全集的前向不变性。
• MIND（用于神经网络动态模型的混合整数）通过混合整数规划（MIP）对NNDM进行编码，以实现精确、完整且最优的控制计算。
• MIP公式通过使用混合型约束表示ReLU激活，高效处理了NNDMs的非线性与黑箱特性。
• 安全指数在离线阶段进行优化，以确保生成的控制输入能够维持持续可行性并避免不可行状态。
• 该方法通过构造保证在有限时间内收敛至用户定义的安全集，并满足所有安全约束。
• 该框架将安全指数与一个约束优化问题相结合，以最小化跟踪误差，同时遵守NNDM和安全约束。

实验结果

研究问题

• RQ1 能否自动为NNDMs合成一个安全指数，以确保前向不变性与持续可行性，而无需依赖解析动力学？
• RQ2 能否使用计算高效且完备的方法，为具有黑箱、非线性特性的NNDMs计算最优安全控制？
• RQ3 MIP编码与进化优化的结合如何在NNDM控制中同时实现最优性与安全性？
• RQ4 与手动设计的安全指数相比，所提出方法在复杂场景下的性能差距与安全违规率如何？

主要发现

• 在数值验证中，MIND-SIS实现了小于$10^{-8}$的最优性差距，表明控制计算近乎完美最优。
• 该方法在所有测试场景中均保证零安全约束违规，包括多障碍物与安全跟随任务。
• 所学习的安全指数（$\phi^l$）在100次随机避障任务中实现了100%成功率，优于原始（$\phi_0$）与人工调优（$\phi^h$）指数。
• 所学习的安全指数在避障与安全跟随任务中均实现了0%不可行状态率与0% $\phi_0$-违规率。
• 该方法在未见过的多障碍物环境中仍能保持持续可行性，展现出良好的泛化能力。
• 理论分析证实，MIND-SIS在所合成的安全指数下，保证了前向不变性与对安全集的有限时间收敛。