[论文解读] Semi-supervised Learning with Deep Generative Models for Asset Failure Prediction

A. S. Yoon, Taehoon Lee+6 more|arXiv (Cornell University)|Sep 4, 2017

Machine Fault Diagnosis Techniques参考文献 21被引用 59

一句话总结

该论文提出一种半监督框架，使用基于变分自编码器的非线性嵌入和RNN可靠性模型，在健康标签稀缺时预测剩余使用寿命。与有监督和自学习基线相比，在标记数据极少时有显著提升。

ABSTRACT

This work presents a novel semi-supervised learning approach for data-driven modeling of asset failures when health status is only partially known in historical data. We combine a generative model parameterized by deep neural networks with non-linear embedding technique. It allows us to build prognostic models with the limited amount of health status information for the precise prediction of future asset reliability. The proposed method is evaluated on a publicly available dataset for remaining useful life (RUL) estimation, which shows significant improvement even when a fraction of the data with known health status is as sparse as 1% of the total. Our study suggests that the non-linear embedding based on a deep generative model can efficiently regularize a complex model with deep architectures while achieving high prediction accuracy that is far less sensitive to the availability of health status information.

研究动机与目标

• 在历史数据中标记的健康状态有限时，推动数据驱动的预测性维护。
• 开发基于深度生成模型的嵌入以利用未标记数据。
• 在非线性嵌入上训练可靠性模型以预测剩余使用寿命。
• 在 NASA Turbofan (C-MAPSS) 数据集上，针对不同标记比例进行评估。

提出的方法

• 使用变分自编码器（VAE）从标记和未标记数据学习非线性嵌入。
• 用基于RNN的编码器对时间序列数据对VAE进行参数化，并采用带权KL和重构项的修改目标函数。
• 从VAE编码器的第k层提取嵌入z，以避免预测器中的随机后验采样。
• 在(z, y)上训练基于RNN的可靠性模型（GRU/LSTM）以预测RUL。
• 在不同标记比例下，将半监督VAE-SSL与有监督学习（SL）和自学习（Self-SSL）进行比较。

实验结果

研究问题

• RQ1 在标记数据稀缺时，基于VAE的非线性嵌入是否提升RUL预测？
• RQ2 在不同标记数据比例下，VAE-SSL相对于有监督和自学习基线的性能如何？
• RQ3 使用VAE编码器的潜在嵌入与后验采样对预测准确性有何影响？

主要发现

Metric	Method	1%	5%	10%	20%	30%	100%
MAE	SL	46.9 ± 5.3	28.5 ± 3.3	19.7 ± 2.2	15.4 ± 1.7	13.7 ± 1.5	11.3 ± 1.3
MAE	Self-SSL	48.2 ± 5.5	25.8 ± 2.8	19.2 ± 2.1	14.0 ± 1.6	14.2 ± 1.6	11.3 ± 1.3
MAE	VAE-SSL	28.1 ± 3.4	15.8 ± 1.8	13.3 ± 1.5	12.9 ± 1.5	11.9 ± 1.4	11.3 ± 1.3
MSE	SL	3309 ± 441	1299 ± 199	642 ± 80	407 ± 45	344 ± 35	228 ± 27
MSE	Self-SSL	3483 ± 493	1055 ± 120	618 ± 74	362 ± 40	344 ± 38	228 ± 27
MSE	VAE-SSL	1370 ± 240	405 ± 59	294 ± 36	274 ± 31	243 ± 27	221 ± 26
Score	SL	482 ± 121	299 ± 111	53.6 ± 13.9	13.6 ± 2.43	6.42 ± 0.81	3.45 ± 0.41
Score	Self-SSL	610 ± 173	109 ± 22.4	84.9 ± 41.3	10.0 ± 1.46	7.42 ± 0.93	3.45 ± 0.41
Score	VAE-SSL	133 ± 34	8.26 ± 1.38	7.20 ± 1.58	6.09 ± 0.72	5.22 ± 0.59	4.75 ± 0.56
R^2	SL	-0.93 ± 0.28	0.24 ± 0.11	0.63 ± 0.07	0.76 ± 0.09	0.81 ± 0.09	0.87 ± 0.10
R^2	Self-SSL	-1.03 ± 0.33	0.39 ± 0.05	0.64 ± 0.07	0.79 ± 0.09	0.80 ± 0.09	0.87 ± 0.10
R^2	VAE-SSL	0.20 ± 0.14	0.76 ± 0.08	0.83 ± 0.09	0.84 ± 0.10	0.86 ± 0.10	0.87 ± 0.10

• VAE-SSL在标记比例降低时对SL和Self-SSL有显著改进（例如在低标记时，MAE、MSE、Score和R^2都随VAE-SSL提升而改善）。
• 仅1%标记数据时，VAE-SSL仍保持高预测精度，明显优于SL和Self-SSL。
• 在各项指标下，VAE-SSL在低标记率时相较基线实现最高达到3.6x的Score提升，以及MAE/MSE的显著增益。
• NASA Turbofan (C-MAPSS) FD001数据集上的结果显示该嵌入驱动的方法对标签稀缺具有鲁棒性。