[论文解读] Normalizing flows for novelty detection in industrial time series data

Maximilian Schmidt, Marko Šimić|arXiv (Cornell University)|Jun 17, 2019

Anomaly Detection Techniques and Applications参考文献 11被引用 23

一句话总结

本文提出使用归一化流——具体为掩码自回归流（MAF）和带MADE约束的FFJORD——用于工业时间序列中的新奇检测。通过使用可逆变换学习正常数据分布，模型能够计算精确的似然分数以检测异常，在合成数据和真实电机电流数据上均优于局部异常因子（LOF），在真实工业时间序列上实现了近乎完美的准确率。

ABSTRACT

Flow-based deep generative models learn data distributions by transforming a simple base distribution into a complex distribution via a set of invertible transformations. Due to the invertibility, such models can score unseen data samples by computing their exact likelihood under the learned distribution. This makes flow-based models a perfect tool for novelty detection, an anomaly detection technique where unseen data samples are classified as normal or abnormal by scoring them against a learned model of normal data. We show that normalizing flows can be used as novelty detectors in time series. Two flow-based models, Masked Autoregressive Flows and Free-form Jacobian of Reversible Dynamics restricted by autoregressive MADE networks, are tested on synthetic data and motor current data from an industrial machine and achieve good results, outperforming a conventional novelty detection method, the Local Outlier Factor.

研究动机与目标

• 探究仅使用正常数据进行训练的基于流的深度生成模型是否能有效检测工业时间序列中的异常。
• 评估归一化流模型（特别是带MADE约束的MAF和FFJORD）与传统方法（如局部异常因子LOF）在新奇检测中的性能表现。
• 展示基于流的模型生成逼真合成正常时间序列数据的能力，以支持缺陷分析和异常模拟等下游应用。
• 探索利用流模型学习从正常到异常状态转变的可行性，从而实现工业系统中的故障模式分析。

提出的方法

• 采用带MADE结构的掩码自回归流（MAF），将时间序列数据建模为从简单基础分布出发的可逆、自回归变换序列。
• 应用带MADE约束的自由形式雅可比反向动力学（FFJORD），学习连续时间的归一化流，实现对时间依赖关系的灵活且可微分的建模。
• 通过变量变换公式计算似然分数，对未见的时间序列样本进行评分，其中低似然值表示潜在的新奇性。
• 仅使用正常数据进行模型训练，随后在保留的正常和异常样本上进行评估，以衡量新奇检测性能。
• 对正常和异常数据均进行均值中心化处理，以分离时间相关性差异，提升模型泛化能力。
• 通过从学习到的潜在分布中采样并经过逆向流变换，生成新的合成时间序列。

实验结果

研究问题

• RQ1 当仅使用正常数据进行训练时，归一化流是否能有效检测工业时间序列中的异常？
• RQ2 在时间序列的新奇检测任务中，带MADE约束的MAF和FFJORD与传统方法（如LOF）相比性能如何？
• RQ3 基于流的模型在多大程度上能够捕捉并生成工业时间序列中逼真的时间相关性？
• RQ4 流模型是否能通过学习正常分布中时间自相关模式的偏离来检测异常数据？
• RQ5 训练后的流模型是否可用于模拟异常数据的转变过程，以支持工业系统中的故障模式分析？

主要发现

• 在合成和真实工业时间序列数据上，MAF和FFJORD+MADE模型在新奇检测中均优于局部异常因子（LOF）。
• 在真实电机电流数据上，两种基于流的模型均实现了近乎完美的分类性能，真正例率（TPR）为100%，假正例率（FPR）为0.5%或更低。
• FFJORD+MADE模型在充分训练后应用于异常数据时表现出不稳定性，表明其已从学习到的正常分布发生偏离。
• 异常样本在潜在空间中与白噪声显著不同，证实了模型区分异常模式的能力。
• 正常样本与异常样本的似然分数明显分离，使得决策边界可实现0%假正例率和100%真正例率。
• 训练后的模型成功生成了与真实正常数据经验自相关性一致的合成时间序列，证明了其对数据分布的有效学习。