[论文解读] Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders

Shen Zhang, Fei Ye+2 more|arXiv (Cornell University)|Dec 2, 2019

Machine Fault Diagnosis Techniques参考文献 27被引用 30

一句话总结

本文提出一种基于深度变分自编码器（VAEs）的半监督轴承异常检测方法，以利用有限的标注数据和丰富的未标注振动信号。通过联合训练变分自编码器与分类器，模型学习到鲁棒的表征，在CWRU和IMS数据集上，相较于监督学习和基线半监督方法，准确率最高提升30%，尤其在仅4–15%的数据被标注时表现更优。

ABSTRACT

Most of the data-driven approaches applied to bearing fault diagnosis up to date are established in the supervised learning paradigm, which usually requires a large set of labeled data collected a priori. In practical applications, however, obtaining accurate labels based on real-time bearing conditions can be far more challenging than simply collecting a huge amount of unlabeled data using various sensors. In this paper, we thus propose a semi-supervised learning approach for bearing anomaly detection using variational autoencoder (VAE) based deep generative models, which allows for effective utilization of dataset when only a small subset of data have labels. Finally, a series of experiments is performed using both the Case Western Reserve University (CWRU) bearing dataset and the University of Cincinnati's Center for Intelligent Maintenance Systems (IMS) dataset. The experimental results demonstrate that the proposed semi-supervised learning scheme greatly outperforms two mainstream semi-supervised learning approaches and a baseline supervised convolutional neural network approach, with the overall accuracy improvement ranging between 3% to 30% using different proportions of labeled samples.

研究动机与目标

• 解决实际工业场景中轴承故障标注数据有限的问题，其中收集大量未标注数据比获取精确故障标签更为容易。
• 克服监督学习的局限性，后者需要大量标注数据才能实现可靠的故障分类。
• 开发一种半监督深度生成模型，有效利用少量标注数据和大量未标注数据，以提升异常检测性能。
• 在CWRU和IMS真实轴承数据集上验证该方法，这些数据集包含自然演化的故障，早期故障阶段常存在标签模糊性。
• 证明通过VAE-based半监督框架引入未标注数据，可增强分类器的泛化能力与对噪声或错误标注数据的鲁棒性。

提出的方法

• 提出一种具有联合编码器-解码器结构的深度变分自编码器（VAE）框架，从原始轴承振动信号中学习分层潜在表征。
• 将分类器头集成到VAE架构中，实现端到端的半监督训练，其中标注数据监督分类任务，未标注数据指导表征学习。
• 在VAE中使用重参数化技巧，实现通过随机潜在变量的反向传播，从而优化变分下界（ELBO）目标函数。
• 通过组合重构损失（用于自编码）和分类损失（用于标注数据）进行模型训练，实现表征与预测的联合优化。
• 采用两种变体：VAE M1（标准VAE）和VAE M2（增加正则化并改进潜在空间建模），以评估在不同标签稀缺条件下的性能。
• 使用CWRU和IMS轴承数据集中的数据，先进行信号预处理和特征提取，再输入VAE模型。

实验结果

研究问题

• RQ1 当仅有一小部分轴承数据被标注时，基于深度VAE的半监督模型是否能实现优于监督学习和无监督基线方法的异常检测性能？
• RQ2 引入未标注数据如何影响分类器的泛化能力和鲁棒性，特别是在标签模糊或存在噪声的情况下？
• RQ3 所提出的基于VAE的半监督方法是否在轴承故障检测任务中优于现有SOTA半监督方法（如基于图的模型或深度自动编码器网络）？
• RQ4 当标签被错误分配时，模型性能会下降到何种程度，特别是在故障早期阶段特征细微、难以辨识时？
• RQ5 在真实数据集上，不同标注比例下，VAE M2变体相较于VAE M1及其他模型（如CNN、自编码器）的性能表现如何？

主要发现

• 在CWRU数据集中，当仅4%的数据被标注时，所提出的VAE M2模型相比基线监督CNN模型，准确率提升达30%。
• 仅使用10个标注样本（占总数的0.4%）时，VAE M2达到23.71%的准确率，较PCA+SVM（17.10%）和自编码器（27.72%）高出逾6个百分点。
• 在IMS数据集中，使用2,000个标注样本（占总数的25%）时，VAE M2达到90.87%的准确率，显著优于CNN（86.62%）和PCA+SVM（78.50%）。
• 模型在不同标注比例下均表现出一致的性能提升：相比基线，准确率提升范围为3%至30%，且预测方差更小。
• 当标注数据从4,000个增至8,000个时，CNN的准确率下降超过6%，而VAE M2仅下降4%，表明其对标签噪声和误分类具有更强的鲁棒性。
• 结果表明，半监督VAE能有效缓解因标签不准确导致的性能下降，尤其在早期故障检测中标签模糊时更具优势。