[论文解读] Time-Series Anomaly Detection with Implicit Neural Representation

Kyeong-Joong Jeong, Yong-Min Shin|arXiv (Cornell University)|Jan 28, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

该论文提出 INRAD，一种新颖的时间序列异常检测方法，通过使用简单的多层感知机（MLP）将时间映射为数值，隐式表示多变量时间序列数据。通过训练 MLP 以重建时间序列值，并使用表示误差作为异常评分，INRAD 在五个真实世界数据集上实现了最先进的准确率和训练速度，仅需极少的超参数调优，并对不同配置具有强鲁棒性。

ABSTRACT

Detecting anomalies in multivariate time-series data is essential in many real-world applications. Recently, various deep learning-based approaches have shown considerable improvements in time-series anomaly detection. However, existing methods still have several limitations, such as long training time due to their complex model designs or costly tuning procedures to find optimal hyperparameters (e.g., sliding window length) for a given dataset. In our paper, we propose a novel method called Implicit Neural Representation-based Anomaly Detection (INRAD). Specifically, we train a simple multi-layer perceptron that takes time as input and outputs corresponding values at that time. Then we utilize the representation error as an anomaly score for detecting anomalies. Experiments on five real-world datasets demonstrate that our proposed method outperforms other state-of-the-art methods in performance, training speed, and robustness.

研究动机与目标

• 解决现有基于深度学习的时间序列异常检测方法的局限性，包括训练时间长和超参数调优复杂。
• 开发一种在显著提升训练速度和鲁棒性的同时保持高性能的方法。
• 探索隐式神经表示（INR）在多变量时间序列数据异常检测中的应用。
• 引入一种时间编码技术，以改善模型在长序列或冷启动数据集上的收敛性和性能。

提出的方法

• 该方法训练一个多层感知机（MLP），将时间点映射到其对应的多变量值，从而隐式学习时间序列数据的表示。
• 在训练过程中，模型最小化预测值与真实值之间的均方误差，学习重建正常的时间序列模式。
• 通过表示误差（即预测值与实际值之间的差异）检测异常，误差越大表示越可能是异常。
• 引入一种新颖的时间编码技术，以保持训练和测试时间点之间的时间顺序和间隔一致性，从而提升收敛性和性能。
• 该方法在所有数据集中仅使用一组超参数，增强了鲁棒性并减少了调优开销。
• 该方法避免使用复杂的架构（如 RNN 或 GAN），仅依赖于一个简单的 MLP，从而实现快速训练和推理。

实验结果

研究问题

• RQ1 通过训练一个简单的 MLP 隐式表示时间序列数据，能否实现最先进的异常检测性能？
• RQ2 时间编码如何提升模型在长序列或冷启动场景下对训练和测试时间序列的泛化能力？
• RQ3 与现有 SOTA 方法相比，该方法的训练速度和收敛行为如何？
• RQ4 该方法对学习率、网络深度、宽度和初始化尺度等关键超参数的变化有多大的鲁棒性？
• RQ5 MLP 的表示误差是否在多样化的现实世界时间序列数据集中提供可靠且具有区分性的异常评分？

主要发现

• INRAD 在五个真实世界数据集（SMD、SMAP、MSL、WADI、ECG）上优于现有 SOTA 方法，SMD 上平均 F1 分数最低，为 0.243，SMAP 上为 0.024，MSL 上为 0.020。
• 该方法在所有数据集上每轮训练时间最快，显著优于 LSTM-VAE、OmniAnomaly、USAD 和 THOC。
• 时间编码提升了模型的收敛性和性能，尤其在长数据集（如 WADI）上表现显著，而原始编码方法无法维持准确率。
• 模型对超参数变化表现出高度鲁棒性，在耐心值（patience）、隐藏层维度、深度和初始化尺度（ω₀）等不同设置下性能下降极小。
• 在冷启动设置下，INRAD 与原始编码方法之间的性能差距进一步扩大，INRAD 在 WADI 上保持 F1 分数 0.25，而基线方法得分更低。
• MLP 的表示误差可作为高度有效的异常评分，INRAD 在使用单一固定超参数配置的情况下，实现了优越的检测准确率。