[论文解读] ODE - Augmented Training Improves Anomaly Detection in Sensor Data from Machines

Mohit Yadav, Pankaj Malhotra+3 more|arXiv (Cornell University)|May 5, 2016

Anomaly Detection Techniques and Applications参考文献 8被引用 21

一句话总结

本文提出使用常微分方程（ODE）增强训练，以提升动态机械传感器数据中的异常检测性能，通过利用领域知识的ODE模型生成合成控制输入变化，并对真实正常数据进行数据增强。该方法显著提升了LSTM-AD的性能，F-score从仅使用小规模真实数据时的0.49提升至使用ODE生成数据增强后的0.64，从而能够更好地检测在新型控制输入下的异常情况。

ABSTRACT

Machines of all kinds from vehicles to industrial equipment are increasingly instrumented with hundreds of sensors. Using such data to detect anomalous behaviour is critical for safety and efficient maintenance. However, anomalies occur rarely and with great variety in such systems, so there is often insufficient anomalous data to build reliable detectors. A standard approach to mitigate this problem is to use one class methods relying only on data from normal behaviour. Unfortunately, even these approaches are more likely to fail in the scenario of a dynamical system with manual control input(s). Normal behaviour in response to novel control input(s) might look very different to the learned detector which may be incorrectly detected as anomalous. In this paper, we address this issue by modelling time-series via Ordinary Differential Equations (ODE) and utilising such an ODE model to simulate the behaviour of dynamical systems under varying control inputs. The available data is then augmented with data generated from the ODE, and the anomaly detector is retrained on this augmented dataset. Experiments demonstrate that ODE-augmented training data allows better coverage of possible control input(s) and results in learning more accurate distinctions between normal and anomalous behaviour in time-series.

研究动机与目标

• 解决动态系统中异常检测因正常训练数据不足且手动控制输入变化有限而带来的挑战。
• 通过模拟真实数据中未出现的多样化控制输入场景，提升异常检测器的鲁棒性。
• 利用领域知识的ODE模型作为生成工具，合成逼真的正常时间序列数据以实现数据增强。
• 评估ODE增强训练是否能提升基于LSTM的异常检测模型的泛化能力和准确性。
• 证明ODE生成的数据可提升对由新型或未见控制输入引发的异常的检测能力。

提出的方法

• 使用带有可学习参数的ODE模型，将被控传感器变量（例如冷却液温度）建模为控制输入（例如油门踏板位置）的函数。
• 通过在真实传感器数据的时间窗口上使用最大似然估计法，结合对ODE结构的领域知识，估计ODE参数。
• 通过从学习到的统计分布中采样新型控制输入值，并模拟ODE响应，生成合成时间序列数据。
• 将ODE生成的合成数据与原始真实正常训练数据结合，形成更大、更具多样性的训练集。
• 在增强后的数据集上重新训练LSTM-AD异常检测模型，利用预测误差的似然分数，并通过F-score最大化优化阈值。
• 使用高斯似然模型计算预测误差的异常得分，阈值在验证数据上通过F-score最大化选择。

实验结果

研究问题

• RQ1 当仅有有限的真实正常数据时，基于ODE的数据生成是否能提升异常检测性能？
• RQ2 通过使用ODE模拟的控制输入变化来增强训练数据，是否能提升对新型控制输入下异常的检测能力？
• RQ3 与仅使用真实数据训练相比，ODE增强训练在精确率、召回率和F-score方面表现如何？
• RQ4 ODE模型能否有效模拟原始数据中未出现的多样化控制输入条件下的真实正常行为？
• RQ5 在系统遇到新型但正常的控制输入时，包含ODE生成数据是否能降低误报率？

主要发现

• ODE增强训练使F-score从仅使用小规模真实数据时的0.49提升至0.64，显著改善了异常检测性能。
• 当小规模真实数据与ODE生成数据结合后，精确率从0.34提升至0.52，表明误报减少。
• 在ODE增强数据上训练的模型成功检测到一种类型1异常（短暂的零值脉冲），而仅使用小规模真实数据训练的模型则未能检测到。
• 图3中的F-score曲线显示，随着ODE生成数据逐步加入小规模真实数据集，性能持续提升，证实了数据多样性的益处。
• 更大的真实数据集（L(r)）也从增强中受益，F-score从0.55提升至0.67。
• 该方法有效扩展了在不同控制输入下正常行为的覆盖范围，降低了将新型但正常的控制输入误判为异常的风险。