[论文解读] Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery

Sheng Guo, Zengxiang Li+3 more|arXiv (Cornell University)|Nov 17, 2022

E-commerce and Technology Innovations被引用 4

一句话总结

本文提出了一种用于旋转机械多任务故障诊断的个性化联邦学习框架，通过联邦聚类对相似机器进行分组，并采用自适应分层聚合以应对数据异构性。该方法通过在保护隐私的前提下实现跨工厂协作训练，显著提升了诊断准确率，尤其在故障样本稀少的机器上表现突出。

ABSTRACT

Intelligent fault diagnosis is essential to safe operation of machinery. However, due to scarce fault samples and data heterogeneity in field machinery, deep learning based diagnosis methods are prone to over-fitting with poor generalization ability. To solve the problem, this paper proposes a personalized federated learning framework, enabling multi-task fault diagnosis method across multiple factories in a privacypreserving manner. Firstly, rotating machines from different factories with similar vibration feature data are categorized into machine groups using a federated clustering method. Then, a multi-task deep learning model based on convolutional neural network is constructed to diagnose the multiple faults of machinery with heterogeneous information fusion. Finally, a personalized federated learning framework is proposed to solve data heterogeneity across different machines using adaptive hierarchical aggregation strategy. The case study on collected data from real machines verifies the effectiveness of the proposed framework. The result shows that the diagnosis accuracy could be improved significantly using the proposed personalized federated learning, especially for those machines with scarce fault samples.

研究动机与目标

• 为解决由于故障样本稀少以及工业机器间数据异构性导致的深度学习故障诊断泛化能力差的问题。
• 在不共享原始振动数据的前提下，实现在多个工厂间的协作模型训练，保护数据隐私。
• 通过个性化联邦学习提升故障样本有限的机器的诊断准确率。
• 构建一个多任务深度学习模型，融合振动信号的时间域与频域特征，实现同时故障检测。
• 设计一种自适应分层聚合策略，以区分共享特征提取与个性化分类组件。

提出的方法

• 使用联邦聚类根据振动信号特征的相似性对来自不同工厂的机器进行分组，而无需暴露原始数据。
• 构建一个多任务深度学习模型，其中共享卷积神经网络用于公共特征提取，每个机器组配备个性化多任务分类头。
• 个性化联邦学习框架采用自适应分层聚合：在所有机器间进行共享特征提取器的全局聚合，并在每个机器组内进行个性化分类头的本地聚合。
• 该框架采用一种新颖的自适应聚合策略，根据本地数据分布和模型性能动态加权模型更新。
• 对振动信号进行处理以提取时间域与频域特征，并将其作为深度学习模型的输入。
• 该方法避免了数据集中化，确保隐私保护的同时实现在数据分布异构的工厂间知识迁移。

实验结果

研究问题

• RQ1 联邦聚类是否能在不共享原始振动数据的前提下，有效将跨工厂的相似旋转机械进行分组？
• RQ2 与原始联邦学习和单机模型相比，个性化联邦学习在故障诊断准确率方面有何提升？
• RQ3 所提出的框架在多大程度上缓解了故障样本稀少机器的性能下降问题？
• RQ4 自适应分层聚合是否优于标准聚合策略，以应对机器间的数据异构性？
• RQ5 在联邦设置下，融合时间域与频域特征的多任务学习是否能提升故障诊断性能？

主要发现

• 个性化联邦学习框架实现了平均F1得分为0.855，显著优于单机模型（0.818）和原始联邦学习（0.831）。
• 对于故障率低于5%的机器，从单机模型到个性化FL的F1得分提升最大，达到0.746（对比单机模型的0.543）。
• 即使在故障样本有限的情况下，该框架仍保持高诊断准确率，表现出在低数据场景下的鲁棒性。
• 联邦聚类降低了机器间的数据异构性，表现为在故障类型1和3上的F1得分更高，分别达到0.851和0.813。
• 在90%的测试机器和故障类型中，个性化FL优于原始FL和聚类FL，尤其在低故障率情况下表现更优。
• 当故障样本充足时（如故障率超过50%），联邦学习带来的性能提升微乎其微，证实其最大优势体现在低数据场景。