[论文解读] Multivariate Industrial Time Series with Cyber-Attack Simulation: Fault Detection Using an LSTM-based Predictive Data Model

Pavel Nikolaevich Filonov, Andrey Lavrentyev+1 more|arXiv (Cornell University)|Dec 20, 2016

Advanced Data Processing Techniques被引用 90

一句话总结

本文提出了一种基于LSTM的预测模型，用于通过在基于Modelica的柴油油加热装置模型中模拟网络攻击，检测多变量工业时间序列中的故障。该方法利用预测误差阈值检测异常，在最优超参数设置下F1得分达到0.872，优于主成分分析（PCA）和线性判别分析（FDA）等经典方法，在精确率-召回率权衡方面表现更优。

ABSTRACT

We adopted an approach based on an LSTM neural network to monitor and detect faults in industrial multivariate time series data. To validate the approach we created a Modelica model of part of a real gasoil plant. By introducing hacks into the logic of the Modelica model, we were able to generate both the roots and causes of fault behavior in the plant. Having a self-consistent data set with labeled faults, we used an LSTM architecture with a forecasting error threshold to obtain precision and recall quality metrics. The dependency of the quality metric on the threshold level is considered. An appropriate mechanism such as "one handle" was introduced for filtering faults that are outside of the plant operator field of interest.

研究动机与目标

• 开发一种数据驱动的工业多变量时间序列故障检测系统，能够检测由网络攻击引起的异常。
• 通过模型操作生成因果一致的合成故障场景，解决真实工业系统中标签故障数据稀缺的问题。
• 评估基于LSTM的预测模型结合阈值异常检测方法，在检测网络攻击引发的过程故障方面的性能。
• 提供一个公开可获取、自洽的带标签故障数据集，用于工业故障检测方法的基准测试。
• 通过可调阈值参数探索误报率与漏报率之间的权衡。

提出的方法

• 构建了一个基于Modelica的柴油油加热回路仿真模型，以模拟真实工业过程行为，包括传感器和控制信号。
• 在模型逻辑中注入四种类型的网络攻击——具体为对最大RT液位设定点的未授权修改——生成带标签的故障数据。
• 仅使用正常行为数据训练LSTM神经网络，以学习多变量时间依赖关系并预测未来值。
• 计算预测值与实际值之间的预测误差；利用误差分布的阈值（例如，0.999分位数）对正常与异常行为进行分类。
• 在多个阈值水平和超参数配置（如序列长度、丢弃率）下计算精确率、召回率和F1得分。
• 引入一种“单手柄”过滤机制，排除操作员关注范围之外的故障，提升实际应用的相关性。

实验结果

研究问题

• RQ1 基于LSTM的预测模型能否在多变量工业时间序列中以高精确率和高召回率检测由网络攻击引发的故障？
• RQ2 预测误差阈值的选择如何影响故障检测中误报与漏报之间的平衡？
• RQ3 与主成分分析（PCA）、线性判别分析（FDA）和偏最小二乘法（PLS）等经典故障检测方法相比，基于LSTM的方法在F1得分和鲁棒性方面表现如何？
• RQ4 通过模型操作生成的合成故障数据在多大程度上可用于训练和验证实时异常检测系统？
• RQ5 是否可以通过调节阈值水平，实现在工业监控系统中对报警频率与检测准确率之间期望的权衡？

主要发现

• 当丢弃概率为0.1、序列长度为60时，基于LSTM的模型F1得分为0.872，优于主成分分析（F1：0.673）和线性判别分析（F1：0.308）。
• 在序列长度为120、丢弃概率为0.5时，F1得分达到最佳值0.804，表明该方法在多种超参数设置下均表现稳健。
• OneClassSVM方法实现了最高的召回率（0.885），但精确率较低（0.422），凸显了异常检测中误报问题的挑战。
• 精确率与召回率对阈值水平高度敏感，使得在实际运行环境中可调控制误报率成为可能。
• 即使初始设定点变化被隐藏，模型也能在子过程偏离正常行为条件的第一时间检测到故障，展现出早期检测能力。
• 使用经验误差分布的0.999分位数作为阈值，为故障检测决策提供了稳健的下限。