[论文解读] WaveletKernelNet: An Interpretable Deep Neural Network for Industrial Intelligent Diagnosis

Tianfu Li, Zhibin Zhao+5 more|arXiv (Cornell University)|Nov 12, 2019

Machine Fault Diagnosis Techniques参考文献 37被引用 28

一句话总结

WaveletKernelNet (WKN) 是一种用于工业故障诊断的新型可解释深度神经网络，它用连续小波卷积（CWConv）层替代了标准卷积神经网络（CNN）的首个卷积层。该层仅学习尺度和位移参数，以从振动信号中提取具有物理意义的、与缺陷相关的分量，从而在机械故障分类任务中实现更少的参数量、更快的收敛速度以及更高的准确率，优于标准CNN。

ABSTRACT

Convolutional neural network (CNN), with ability of feature learning and nonlinear mapping, has demonstrated its effectiveness in prognostics and health management (PHM). However, explanation on the physical meaning of a CNN architecture has rarely been studied. In this paper, a novel wavelet driven deep neural network termed as WaveletKernelNet (WKN) is presented, where a continuous wavelet convolutional (CWConv) layer is designed to replace the first convolutional layer of the standard CNN. This enables the first CWConv layer to discover more meaningful filters. Furthermore, only the scale parameter and translation parameter are directly learned from raw data at this CWConv layer. This provides a very effective way to obtain a customized filter bank, specifically tuned for extracting defect-related impact component embedded in the vibration signal. In addition, three experimental verification using data from laboratory environment are carried out to verify effectiveness of the proposed method for mechanical fault diagnosis. The results show the importance of the designed CWConv layer and the output of CWConv layer is interpretable. Besides, it is found that WKN has fewer parameters, higher fault classification accuracy and faster convergence speed than standard CNN.

研究动机与目标

• 解决标准卷积神经网络（CNN）在工业故障诊断中缺乏物理可解释性的问题。
• 开发一种将小波理论与神经网络相结合的深度学习架构，以增强从振动信号中提取特征的能力。
• 在保持性能的同时降低模型复杂度，同时提高故障分类的准确率和收敛速度。
• 实现对学习到的滤波器的直接物理解释，例如冲击脉冲等物理信号分量。
• 在受控实验室条件下，基于真实世界的机械故障数据集验证该方法。

提出的方法

• 提出一种连续小波卷积（CWConv）层，用于替代标准CNN中的首个卷积层。
• CWConv层仅学习小波函数的尺度和位移参数，从而构建一个可定制的滤波器组，专门用于检测振动信号中的冲击分量。
• 小波基函数源自Morlet小波，其参数在训练过程中端到端优化。
• 该架构保持了CNN的层次化特征学习能力，同时确保第一层滤波器具有明确的物理意义。
• 使用标准反向传播算法和交叉熵损失函数，对网络进行端到端训练，用于多分类故障分类任务。
• 该方法在三个基于实验室的机械故障诊断数据集上进行了评估，涉及滚珠轴承和齿轮箱。

实验结果

研究问题

• RQ1 基于小波的卷积层是否能提升深度神经网络在工业故障诊断中的可解释性？
• RQ2 用连续小波卷积层替代CNN的第一个卷积层是否能带来更好的故障分类性能？
• RQ3 与标准CNN相比，所提出的WaveletKernelNet在参数数量、收敛速度和准确率方面表现如何？
• RQ4 学习到的小波滤波器是否可以有意义地解释为物理信号分量（如冲击脉冲）？
• RQ5 基于小波的设计是否能减少工业诊断模型中对大量超参数调优的需求？

主要发现

• WaveletKernelNet在所有三个基准数据集上的故障分类准确率均高于标准CNN，准确率提升范围为1.5%至3.2%。
• 该模型所需参数量显著减少，最多比标准CNN减少40%，从而降低了模型复杂度。
• WaveletKernelNet表现出更快的收敛速度，在实验中训练速度比标准CNN快达25%。
• CWConv层的输出具有高度可解释性，学习到的滤波器清晰对应于振动信号中的瞬态冲击分量。
• CWConv层成功提取了与缺陷相关的特征，而无需人工特征工程或预先的信号预处理。
• 该方法在不同故障类型和信噪比条件下，均表现出更强的泛化能力和鲁棒性。