[论文解读] Trusted Neural Networks for Safety-Constrained Autonomous Control

Shalini Ghosh, Amaury Mercier+4 more|arXiv (Cornell University)|May 18, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 3

一句话总结

本文提出了可信神经网络（TNNs），一种通过两种方法将一阶逻辑安全约束整合到深度神经网络中的框架：一种是用于联合学习数据和规则的多头架构，另一种是基于邻近梯度的约束优化。主要贡献在于在自动驾驶控制任务中提升了安全性并加快了收敛速度，在自动驾驶汽车模拟器中实现了高达90%的不安全动作抑制率以及更快的MSE收敛速度。

ABSTRACT

We propose Trusted Neural Network (TNN) models, which are deep neural network models that satisfy safety constraints critical to the application domain. We investigate different mechanisms for incorporating rule-based knowledge in the form of first-order logic constraints into a TNN model, where rules that encode safety are accompanied by weights indicating their relative importance. This framework allows the TNN model to learn from knowledge available in form of data as well as logical rules. We propose multiple approaches for solving this problem: (a) a multi-headed model structure that allows trade-off between satisfying logical constraints and fitting training data in a unified training framework, and (b) creating a constrained optimization problem and solving it in dual formulation by posing a new constrained loss function and using a proximal gradient descent algorithm. We demonstrate the efficacy of our TNN framework through experiments using the open-source TORCS~\cite{BernhardCAA15} 3D simulator for self-driving cars. Experiments using our first approach of a multi-headed TNN model, on a dataset generated by a customized version of TORCS, show that (1) adding safety constraints to a neural network model results in increased performance and safety, and (2) the improvement increases with increasing importance of the safety constraints. Experiments were also performed using the second approach of proximal algorithm for constrained optimization --- they demonstrate how the proposed method ensures that (1) the overall TNN model satisfies the constraints even when the training data violates some of the constraints, and (2) the proximal gradient descent algorithm on the constrained objective converges faster than the unconstrained version.

研究动机与目标

• 开发满足自动驾驶控制应用中关键安全约束的深度神经网络。
• 将领域特定的逻辑规则（例如，禁止从左转车道左转）与数据一起整合到神经网络训练中。
• 通过确保即使在训练数据违反这些约束时输出仍满足约束，来提高模型的可信度。
• 通过使用邻近梯度方法的约束优化，加速训练过程中的收敛。
• 使用3D汽车模拟器评估TNNs在安全关键环境中的有效性。

提出的方法

• 提出一种多头神经网络架构，其中一头从标注数据学习，另一头从一阶逻辑约束学习，共享层用于参数共享。
• 使用组合损失函数，通过权衡超参数λ平衡数据拟合与约束满足。
• 将训练表述为约束优化问题：在满足g(o′) ≤ 0的条件下最小化损失，其中g编码安全规则。
• 采用约束问题的对偶形式，并引入新的约束损失函数以支持优化。
• 对约束目标应用邻近梯度下降，相比无约束训练实现了更快的收敛速度。
• 使用3D模拟器（TORCS）生成带有受控噪声和安全违规的合成数据集，用于评估。

实验结果

研究问题

• RQ1 即使训练数据违反规则，深度神经网络能否被训练以满足源自一阶逻辑规则的安全约束？
• RQ2 在自动驾驶控制任务中，整合基于规则的安全约束如何影响模型性能与安全性？
• RQ3 通过邻近梯度下降进行的约束优化是否相比无约束训练具有更快的收敛速度？
• RQ4 安全规则的重要权重（λ）如何影响模型抑制不安全动作的能力？
• RQ5 当规则未明确给出时，多头TNN架构能否有效从数据中学习并强制执行安全规则？

主要发现

• 在基于逻辑的实验中，约束模型将从状态0执行危险左转的概率从0.10降低至0.0093，证明了对不安全动作的有效抑制。
• 提高约束权重λ可进一步降低不安全动作的概率，表明安全强制具有可调性。
• 在TORCS数据集上，约束TNN的均方误差（MSE）低于无约束模型，表明泛化能力更强。
• 邻近梯度方法收敛速度优于无约束训练，尤其在噪声较大的数据集B上，尽管MSE未降至零，但下降速度更快。
• 随着规则重要性的增加，多头TNN模型的安全性能得到提升，证实规则加权能有效塑造模型行为。
• 当训练数据包含违规时，TNN框架仍能成功强制执行安全约束，证明其对数据噪声具有鲁棒性。