[论文解读] Real-time Out-of-distribution Detection in Learning-Enabled Cyber-Physical Systems

Feiyang Cai, Xenofon Koutsoukos|arXiv (Cornell University)|Jan 28, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用 10

一句话总结

本文提出一种基于归纳 conformal 预测（inductive conformal prediction）结合变分自编码器（VAEs）与深度支持向量数据描述（SVDD）的实时分布外（OOD）检测方法，用于学习型网络物理系统（learning-enabled cyber-physical systems）。该方法实现了高效、校准良好的 OOD 检测，具有极低的误报率和极小的检测延迟，在自动驾驶汽车仿真中执行时间与原始机器学习组件相当。

ABSTRACT

Cyber-physical systems (CPS) greatly benefit by using machine learning components that can handle the uncertainty and variability of the real-world. Typical components such as deep neural networks, however, introduce new types of hazards that may impact system safety. The system behavior depends on data that are available only during runtime and may be different than the data used for training. Out-of-distribution data may lead to a large error and compromise safety. The paper considers the problem of efficiently detecting out-of-distribution data in CPS control systems. Detection must be robust and limit the number of false alarms while being computational efficient for real-time monitoring. The proposed approach leverages inductive conformal prediction and anomaly detection for developing a method that has a well-calibrated false alarm rate. We use variational autoencoders and deep support vector data description to learn models that can be used efficiently compute the nonconformity of new inputs relative to the training set and enable real-time detection of out-of-distribution high-dimensional inputs. We demonstrate the method using an advanced emergency braking system and a self-driving end-to-end controller implemented in an open source simulator for self-driving cars. The simulation results show very small number of false positives and detection delay while the execution time is comparable to the execution time of the original machine learning components.

研究动机与目标

• 解决学习型网络物理系统（CPS）中因分布偏移导致模型不可预测性失效的安全风险，即分布外（OOD）输入带来的问题。
• 克服现有 OOD 检测方法在高维输入下不鲁棒、缺乏实时效率或误报过多的局限性。
• 开发一种计算高效、实时的 OOD 检测框架，确保在安全关键型 CPS 中部署时具有良好的校准误报率。
• 通过量化输入分布与训练数据的偏离程度，实现对自动驾驶汽车中机器学习组件的运行时监控。
• 将检测方法与高级紧急制动系统（AEB）和端到端自动驾驶控制器等控制系统集成，实现实际的安全保障。

提出的方法

• 利用归纳 conformal 预测（ICP）计算 p 值，以衡量新输入相对于训练分布的符合程度。
• 使用变分自编码器（VAEs）和深度支持向量数据描述（SVDD）学习非符合性分数，以衡量新输入与训练数据相比的异常程度。
• 将训练数据划分为标准训练集和校准集，以支持使用 ICP 实现在线、实时推理，并获得校准良好的置信水平。
• 实时使用 VAE 和 SVDD 模型计算非符合性分数，这些模型经过训练可准确重建分布内数据，并检测高维 OOD 输入。
• 应用预设的异常阈值 ε，若 p 值低于 ε，则将输入分类为 OOD，从而确保校准良好的误报率。
• 将检测模块作为轻量级运行时监控器，与原始学习型组件（LEC）并行运行，性能开销极小。

实验结果

研究问题

• RQ1 能否设计一种实时 OOD 检测方法，在高维、动态的 CPS 输入中保持低且校准良好的误报率？
• RQ2 在安全关键型控制系统中，使用 VAEs 和 SVDD 实现实时 OOD 检测时，非符合性分数的计算效率如何？
• RQ3 与现有异常检测技术相比，该方法在自动驾驶汽车控制系统中能将误报率降低多少？
• RQ4 在真实 CPS 工作负载中，检测模块的计算开销与原始机器学习组件相比如何？
• RQ5 该方法能否可靠检测出可能导致端到端自动驾驶控制器和紧急制动系统出现大预测误差的 OOD 输入？

主要发现

• 所提方法在高级紧急制动系统（AEBS）和端到端自动驾驶控制器（SDEC）仿真中均实现了极低的误报数量。
• 检测延迟极小，执行时间与原始机器学习组件相当，支持实时部署。
• VAEs 和 SVDD 的使用使得高维输入（如传感器数据流）的非符合性分数能够被准确且高效地计算。
• 归纳 conformal 预测框架确保了校准良好的误报率，实际异常检测率与预设阈值 ε 非常接近。
• 该方法能成功识别出与训练分布显著偏离的输入，表明其存在潜在的大预测误差，即使原始模型未将其标记为异常。
• 该方法在多种输入分布下表现稳健，并在仿真环境中不同环境条件下保持稳定性能。