[论文解读] Squeezed Convolutional Variational AutoEncoder for Unsupervised Anomaly Detection in Edge Device Industrial Internet of Things

Dohyung Kim, Hyochang Yang+2 more|arXiv (Cornell University)|Dec 18, 2017

Anomaly Detection Techniques and Applications参考文献 13被引用 6

一句话总结

本文提出了一种轻量级、高效的深度学习模型——Squeezed Convolutional Variational AutoEncoder (SCVAE)，用于在工业物联网（IIoT）边缘设备上对时间序列传感器数据进行无监督异常检测。通过将SqueezeNet的Fire Modules集成到CNN-VAE架构中，SCVAE分别将模型大小和推理时间减少了约30%和约25%，同时在占用率数据上保持了高重建性能（PRAUC：99.2 vs. 98.9），使其适用于实时、资源受限的边缘部署。

ABSTRACT

In this paper, we propose Squeezed Convolutional Variational AutoEncoder (SCVAE) for anomaly detection in time series data for Edge Computing in Industrial Internet of Things (IIoT). The proposed model is applied to labeled time series data from UCI datasets for exact performance evaluation, and applied to real world data for indirect model performance comparison. In addition, by comparing the models before and after applying Fire Modules from SqueezeNet, we show that model size and inference times are reduced while similar levels of performance is maintained.

研究动机与目标

• 解决在工业物联网（IIoT）边缘设备中，由于缺乏或无法获取标注数据，时间序列传感器数据的无监督异常检测挑战。
• 开发一种适用于内存和处理能力有限的资源受限边缘设备的紧凑深度学习模型。
• 使用一种新型的Match-General指标，在真实CNC机床数据上评估模型性能，该指标通过聚合多个基线模型的预测结果来评估异常检测效果。
• 证明通过Fire Modules实现的模型压缩可在显著降低计算和内存开销的同时，保持高水平的异常检测性能。

提出的方法

• 提出SCVAE，一种基于SqueezeNet增强的卷积变分自编码器，通过应用Fire Modules（Squeeze和Expand层）来减少模型大小和推理时间。
• 采用变分自编码器框架与编码器-解码器架构，学习时间序列数据的概率潜在表示，以实现基于重建的异常检测。
• 通过Fire Modules应用模型压缩技术——剪枝和量化，以减少参数数量和内存占用，同时不牺牲重建质量。
• 采用一种新型的Match-General指标评估真实CNC数据上的异常检测性能，其中若6个模型中有3个或以上检测到异常，则样本被标记为异常。
• 在UCI基准数据集和真实CNC机床数据上评估性能，将SCVAE与传统模型（IF、LOF、OCSVM、EE）及基线CNN-VAE进行比较。
• 通过学习时间、推理时间和内存大小来衡量模型效率，并将SCVAE与全精度CNN-VAE在占用率和CNC数据集上的表现进行对比。

实验结果

研究问题

• RQ1 压缩的VAE架构是否能在资源受限的边缘设备上实现对时间序列数据的高性能异常检测？
• RQ2 SqueezeNet的Fire Modules在基于VAE的异常检测系统中，对模型大小、推理速度和重建准确率有何影响？
• RQ3 所提出的Match-General指标是否能为真实工业数据上无监督异常检测模型的比较提供一种可靠、无需标签的评估框架？
• RQ4 通过Fire Modules实现的模型压缩在多大程度上减少了计算和内存开销，同时不降低检测性能？
• RQ5 在真实CNC机床数据场景下，SCVAE与传统机器学习模型（如孤立森林、一类支持向量机）及基线CNN-VAE相比表现如何？

主要发现

• SCVAE在occupancy(16)数据集上实现了99.2的PRAUC，略高于基线CNN-VAE（98.9），表明压缩并未降低重建性能。
• 推理时间从CNN-VAE的8.8 ms减少到SCVAE的6.0 ms，提升了32%，模型大小从16 MB减少到12 MB，降低了25%。
• 在真实CNC数据集中，SCVAE在4种CNC类型中的3种（C、D和A）取得了最高的Match-General得分，表明其在多样化工业数据中具有更优的异常检测一致性。
• SCVAE的性能提升在更大数据集上更为显著，随着数据量增加，学习时间和推理时间的减少幅度也更大。
• Match-General指标在无真实标签的情况下有效识别出SCVAE为表现最优的模型，验证了其在工业环境中无标签评估的实用性。
• Fire Modules的集成实现了显著的模型压缩，同时保持了高重建保真度，证实了SCVAE在IIoT环境中边缘部署的适用性。