[论文解读] Wasserstein Distance based Deep Adversarial Transfer Learning for Intelligent Fault Diagnosis

Cheng Cheng, Beitong Zhou+3 more|arXiv (Cornell University)|Mar 2, 2019

Non-Destructive Testing Techniques参考文献 32被引用 29

一句话总结

本文提出了一种基于Wasserstein距离的深度域自适应方法（WD-DTL），这是一种新颖的领域自适应框架，通过结合Wasserstein距离的对抗性训练，实现源域与目标域之间特征分布的对齐，用于故障诊断。WD-DTL在CNN和DAN基线模型的基础上实现了更高的准确率与更强的鲁棒性，尤其在无监督和小样本标签设置下表现优异，仅使用100个标注样本即可达到80%的准确率。

ABSTRACT

The demand of artificial intelligent adoption for condition-based maintenance strategy is astonishingly increased over the past few years. Intelligent fault diagnosis is one critical topic of maintenance solution for mechanical systems. Deep learning models, such as convolutional neural networks (CNNs), have been successfully applied to fault diagnosis tasks for mechanical systems and achieved promising results. However, for diverse working conditions in the industry, deep learning suffers two difficulties: one is that the well-defined (source domain) and new (target domain) datasets are with different feature distributions; another one is the fact that insufficient or no labelled data in target domain significantly reduce the accuracy of fault diagnosis. As a novel idea, deep transfer learning (DTL) is created to perform learning in the target domain by leveraging information from the relevant source domain. Inspired by Wasserstein distance of optimal transport, in this paper, we propose a novel DTL approach to intelligent fault diagnosis, namely Wasserstein Distance based Deep Transfer Learning (WD-DTL), to learn domain feature representations (generated by a CNN based feature extractor) and to minimize the distributions between the source and target domains through adversarial training. The effectiveness of the proposed WD-DTL is verified through 3 transfer scenarios and 16 transfer fault diagnosis experiments of both unsupervised and supervised (with insufficient labelled data) learning. We also provide a comprehensive analysis of the network visualization of those transfer tasks.

研究动机与目标

• 为解决由于源域与目标域之间运行条件差异和特征分布不同所导致的智能故障诊断中的领域偏移问题。
• 克服工业环境中目标域中标签数据不足或无标签的挑战。
• 开发一种深度迁移学习框架，通过学习领域不变表示来增强特征可迁移性与模型鲁棒性。
• 利用Wasserstein距离的梯度特性，相比传统的MMD或KL散度，实现更稳定和高效的领域自适应。

提出的方法

• 采用基于CNN的特征提取器，从源域和目标域的原始振动信号中学习分层表征。
• 引入领域判别网络以区分源域与目标域的特征，支持对抗性训练。
• 采用Wasserstein距离作为领域差异度量，以最小化源域与目标域之间的分布差距。
• 通过梯度下降联合优化特征提取器与领域判别网络，提升领域不变性。
• 通过适应目标域中标签数据有限的场景，支持无监督和弱监督迁移学习。
• 在基准轴承故障诊断数据集上对16项迁移任务（包括电机转速和传感器位置变化）进行了方法评估。

实验结果

研究问题

• RQ1 在无标签目标数据的无监督迁移学习设置下，WD-DTL是否能有效减少故障诊断中的领域偏移？
• RQ2 当目标域中仅有少量标注样本时，WD-DTL相较于CNN和DAN的表现如何？
• RQ3 与MMD或其他概率散度相比，使用Wasserstein距离是否能带来更稳定和准确的领域自适应？
• RQ4 WD-DTL在涉及不同电机转速和传感器位置的多项迁移任务中表现如何？
• RQ5 当目标域的数据分布与源域显著不同时，WD-DTL是否仍能实现高诊断准确率？

主要发现

• 在无标签目标数据占比100%的无监督场景下，WD-DTL实现了64%的测试准确率，优于CNN和DAN基线模型。
• 仅使用100个标注样本（每类25个）时，WD-DTL准确率达到80%，超过了在100%标签数据下的无监督情况。
• WD-DTL性能的95%置信区间比CNN和DAN更窄，表明其在重复实验中具有更高的模型鲁棒性。
• WD-DTL在无监督和小样本标签场景下均表现出色，证实其在真实工业环境中的有效性。
• 在相似信号之间的迁移任务中（如不同电机转速），WD-DTL实现了超过95%的准确率，验证了其在领域不变表示学习方面的优势。
• 使用Wasserstein距离使训练更加稳定，梯度流动更优，尤其在大规模数据下相比基于MMD的方法表现更佳。