[论文解读] Safe Interactive Model-Based Learning

Marco Gallieri, Seyed Sina Mirrazavi Salehian+5 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Control Systems Optimization参考文献 57被引用 10

一句话总结

该论文提出了一种安全交互式模型基学习框架（SiMBL），通过模型预测控制（MPC）实现安全探索，迭代优化安全控制器与贝叶斯RNN前向模型。通过整合李雅普诺夫函数、不确定性感知模型及一致性先验，SiMBL实现了形式化安全验证，并逐步扩大安全集，已在有限扭矩与非凸约束下的倒立摆系统中得到验证。

ABSTRACT

Control applications present hard operational constraints. A violation of these can result in unsafe behavior. This paper introduces Safe Interactive Model Based Learning (SiMBL), a framework to refine an existing controller and a system model while operating on the real environment. SiMBL is composed of the following trainable components: a Lyapunov function, which determines a safe set; a safe control policy; and a Bayesian RNN forward model. A min-max control framework, based on alternate minimisation and backpropagation through the forward model, is used for the offline computation of the controller and the safe set. Safety is formally verified a-posteriori with a probabilistic method that utilizes the Noise Contrastive Priors (NPC) idea to build a Bayesian RNN forward model with an additive state uncertainty estimate which is large outside the training data distribution. Iterative refinement of the model and the safe set is achieved thanks to a novel loss that conditions the uncertainty estimates of the new model to be close to the current one. The learned safe set and model can also be used for safe exploration, i.e., to collect data within the safe invariant set, for which a simple one-step MPC is proposed. The single components are tested on the simulation of an inverted pendulum with limited torque and stability region, showing that iteratively adding more data can improve the model, the controller and the size of the safe region.

研究动机与目标

• 开发一种框架，实现在具有严格运行约束的实际环境中对系统模型与控制器的安全、交互式学习。
• 基于噪声对比先验（NPC）的概率方法，形式化验证安全性，以估计超出训练数据分布的不确定性。
• 通过将新不确定性估计基于先前估计进行条件化，迭代优化安全集与模型，提升鲁棒性与覆盖范围。
• 通过一步MPC策略实现安全探索，该策略在学习到的不变安全集内运行。
• 将模型、策略与安全认证整合为统一、可训练的流水线，利用真实数据实现持续优化。

提出的方法

• 构建基于噪声对比先验的贝叶斯RNN前向模型（NCP-BRNN），以估计状态转移不确定性，尤其在分布外状态中表现更优。
• 基于交替最小化与前向模型反向传播的极小-极大控制框架，联合学习安全控制策略与李雅普诺夫函数。
• 引入一种新颖的一致性损失，将新模型的不确定性基于先前模型的不确定性进行条件化，实现稳定迭代优化。
• 提出一种基于状态不确定性估计的 probabilistic 安全验证方法，以高概率认证安全性。
• 应用一步MPC策略，利用学习到的李雅普诺夫函数与安全集，引导探索在不变安全区域内进行。
• 通过灰盒架构将物理先验信息融入RNN，确保已知系统动力学的可微分整合。

实验结果

研究问题

• RQ1 在存在运行约束的条件下，基于模型的强化学习框架如何在迭代学习过程中确保安全性？
• RQ2 具有噪声对比先验的贝叶斯RNN能否可靠估计分布外状态的不确定性，以支持形式化安全验证？
• RQ3 在数据采集过程中，如何实现安全集与控制器的迭代优化，同时保持安全性？
• RQ4 通过MPC实现的安全探索在多大程度上可扩展安全区域，并随时间提升模型精度？
• RQ5 对不确定性估计施加一致性先验，能否实现模型与安全集的稳定且渐进的改进？

主要发现

• 该框架在模拟环境中成功学习到李雅普诺夫函数与安全控制策略，确保在非凸安全集内的渐近稳定性。
• 通过安全MPC实现的迭代数据采集逐步扩大了学习到的安全集规模，表明安全覆盖范围持续提升。
• 具有噪声对比先验的贝叶斯RNN在分布外区域产生较大的不确定性估计，有效支持安全验证。
• 一致性损失确保新模型的不确定性估计与先前估计保持一致，稳定了优化过程。
• 基于一步MPC的安全探索策略成功将数据采集限制在不变安全区域内，支持模型与策略的持续优化。
• 该方法在模型不确定性与非凸约束下，仍能以高概率实现形式化安全认证。