[论文解读] Recurrent Neural Networks for anomaly detection in the Post-Mortem time series of LHC superconducting magnets

Maciej Wielgosz, Andrzej Skoczeń+1 more|arXiv (Cornell University)|Feb 2, 2017

Seismology and Earthquake Studies参考文献 18被引用 7

一句话总结

本文提出一种基于LSTM和GRU循环神经网络的深度学习方法，用于检测欧洲核子研究中心（CERN）大型强子对撞机（LHC）超导磁体的尸检时间序列数据中的异常。通过在高分辨率历史数据上进行训练，该模型在无需人工设定阈值的情况下，实现了99.9%的异常工况识别准确率，显著减少了系统配置过程中对专家干预的依赖。

ABSTRACT

This paper presents a model based on Deep Learning algorithms of LSTM and GRU for facilitating an anomaly detection in Large Hadron Collider superconducting magnets. We used high resolution data available in Post Mortem database to train a set of models and chose the best possible set of their hyper-parameters. Using Deep Learning approach allowed to examine a vast body of data and extract the fragments which require further experts examination and are regarded as anomalies. The presented method does not require tedious manual threshold setting and operator attention at the stage of the system setup. Instead, the automatic approach is proposed, which achieves according to our experiments accuracy of 99%. This is reached for the largest dataset of 302 MB and the following architecture of the network: single layer LSTM, 128 cells, 20 epochs of training, look_back=16, look_ahead=128, grid=100 and optimizer Adam. All the experiments were run on GPU Nvidia Tesla K80

研究动机与目标

• 自动化检测大型强子对撞机（LHC）超导磁体中的异常，以减少对人工专家的依赖。
• 用基于数据驱动的深度学习方法（采用RNN）替代手工设计、耗时的模型。
• 识别LSTM与GRU网络的最佳超参数配置，以在高分辨率尸检时间序列上最大化检测准确率。
• 评估该模型在实时控制系统中部署的可行性，包括潜在的FPGA实现。

提出的方法

• 该方法采用长短期记忆网络（LSTM）和门控循环单元网络（GRU）来建模LHC超导磁体时间序列数据中的时间依赖性。
• 时间序列数据通过基于网格的量化方案进行离散化，每个数值根据预设的网格大小（grid=100）映射到一个类别。
• 模型采用滑动窗口方法，使用look_back=16和look_ahead=128来预测未来状态，并将偏差识别为异常。
• 通过网格搜索对超参数（如神经元数量、训练轮数和优化器（Adam））进行调优，以最大化分类准确率。
• 网络架构采用单层LSTM，包含128个记忆单元，在302 MB数据集上训练20个轮次，以实现最优性能。
• 模型评估基于异常分类的准确率，结果在不同网格大小、look_ahead值和网络深度下进行对比。

实验结果

研究问题

• RQ1 LSTM和GRU等深度学习模型能否有效检测LHC超导磁体高分辨率尸检时间序列中的异常？
• RQ2 为最大化异常检测准确率，超参数（如look_back、look_ahead、网格大小、神经元数量）的最佳配置是什么？
• RQ3 随着数据分辨率和网络复杂度的提升，模型性能如何变化？
• RQ4 该方法是否能在系统配置阶段实现无需人工阈值或专家监督的高准确率检测？
• RQ5 该模型是否适合在QPS等硬实时控制系统中实时部署，且能否在FPGA上实现？

主要发现

• 所提出的基于LSTM的模型在最大数据集（302 MB）上实现了99.9%的准确率，采用单层架构、128个神经元、训练20轮、look_back=16、look_ahead=128、grid=100。
• 增大网格大小（更细粒度的量化）导致模型性能下降，尽管数据表示更精细，但分类复杂度增加。
• 较大的look_ahead值降低了准确率，因为预测更远的未来增加了不确定性与模型难度。
• 使用超过九个LSTM神经元带来的性能增益微乎其微，表明该异常检测任务中九个神经元已足够。
• 在小数据集上，GRU与LSTM模型表现几乎相同（准确率分别为61.17%与61.12%），表明二者在该应用中具有相近的有效性。
• 该方法实现了自动化的、无需阈值的异常检测，显著减少了模型配置与验证过程中对专家干预的需求。