[论文解读] Safe Predictors for Enforcing Input-Output Specifications

Stephen Mell, Olivia M. Brown+2 more|arXiv (Cornell University)|Jan 29, 2020

Adversarial Robustness in Machine Learning参考文献 20被引用 4

一句话总结

本文提出了一种方法，用于设计从训练初期起即保证正确性的神经网络，确保在所有训练阶段均满足输入-输出规范。通过使用基于接近度函数加权的凸组合来组合约束预测器，该方法确保输出始终位于凸约束区域内，并在飞机防撞系统中展示了可证明的安全性和鲁棒性。

ABSTRACT

We present an approach for designing correct-by-construction neural networks (and other machine learning models) that are guaranteed to be consistent with a collection of input-output specifications before, during, and after algorithm training. Our method involves designing a constrained predictor for each set of compatible constraints, and combining them safely via a convex combination of their predictions. We demonstrate our approach on synthetic datasets and an aircraft collision avoidance problem.

研究动机与目标

• 解决在自动驾驶汽车和飞机防撞等安全关键应用中，机器学习模型缺乏可证明的安全保证的问题。
• 开发一种方法，在训练前、训练中和训练后均强制执行输入-输出约束，确保从一开始就具备正确性。
• 支持在线学习场景，确保在运行过程中严格遵守安全约束。
• 提供一个保证对抗鲁棒性并符合特定领域物理或逻辑约束的框架。
• 通过将约束直接嵌入模型架构，扩展现有验证技术，以保证约束的强制满足。

提出的方法

• 将输入-输出约束定义为凸输出区域 $ B_i $ 和输入区域 $ A_i $，满足 $ x \in A_i \Rightarrow F(x) \in B_i $。
• 构建接近度函数 $ \varsigma_i(x) \in [0,1] $，其在 $ A_i $ 内为零，并随距离约束边界的增加而增大。
• 将输入空间划分为 $ 2^c $ 个重叠区域 $ O_{\vec{b}} $，其中 $ \vec{b} $ 为表示哪些约束适用的位串。
• 对于每个非空重叠区域 $ O_{\vec{b}} $，定义一个约束预测器 $ G_{\vec{b}} $，其映射至所有满足 $ b_i = 1 $ 的 $ B_i $ 的交集。
• 计算加权函数 $ w_{\vec{b}}(x) = \prod_{b_i=0} \varsigma_i(x) \cdot \prod_{b_i=1} (1 - \varsigma_i(x)) $，为与激活约束不兼容的预测器分配零权重。
• 将最终的安全预测器表示为归一化的凸组合：$ F(x) = \frac{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x) \cdot G_{\vec{b}}(x)}{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x)} $，确保输出始终位于所有激活约束区域内。

实验结果

研究问题

• RQ1 我们能否设计一种神经网络，使其从训练初期起即保证满足输入-输出约束？
• RQ2 如何将多个针对特定约束的预测器整合为一个统一模型，同时在所有输入区域中保持安全性？
• RQ3 何种加权机制可确保仅相关约束预测器参与最终输出，同时保持约束区域的凸性？
• RQ4 该方法在具有复杂重叠约束的真实世界安全关键系统中可扩展到何种程度？
• RQ5 该框架能否同时用于强制实现对抗鲁棒性与特定领域安全规则？

主要发现

• 所提出的安全部预测器 $ F(x) $ 可证明正确：对于任意输入 $ x \in A_i $，输出 $ F(x) \in B_i $，确保所有约束均被满足。
• 该方法在训练开始前即保证安全，适用于在线学习和实时安全关键系统。
• 该方法成功应用于 VerticalCAS 飞机防撞系统，通过 30 个约束预测器强制执行可安全操作约束。
• 安全部预测器架构使用共享的前四层隐藏层，每个预测器单独使用最后两层，尽管增加了约束，仍保持模型效率。
• 模型使用非对称损失函数，从查表中准确预测得分，训练使用 80% 的数据，测试使用 20% 的数据。
• 最终的安全预测器包含 2880 个节点，显著少于原始查表，同时保持可证明的安全性和鲁棒性。