[论文解读] Neural Architecture Search For Fault Diagnosis

Xudong Li, Yang Hu+2 more|arXiv (Cornell University)|Feb 19, 2020

Machine Fault Diagnosis Techniques参考文献 22被引用 8

一句话总结

本论文首次将基于强化学习的神经架构搜索（NAS）应用于故障诊断，其中循环神经网络控制器在基于ResNet的搜索空间内生成深度学习架构。该方法在PHM 2009齿轮箱数据集上实现了最先进性能，所搜索到的模型准确率达到78.91%，较人工设计模型最高提升2.69个百分点，同时通过参数共享显著加速了搜索过程。

ABSTRACT

Data-driven methods have made great progress in fault diagnosis, especially deep learning method. Deep learning is suitable for processing big data, and has a strong feature extraction ability to realize end-to-end fault diagnosis systems. However, designing neural network architecture requires rich professional knowledge and debugging experience, and a lot of experiments are needed to screen models and hyperparameters, increasing the difficulty of developing deep learning models. Frortunately, neural architecture search (NAS) is developing rapidly, and is becoming one of the next directions for deep learning. In this paper, we proposed a NAS method for fault diagnosis using reinforcement learning. A recurrent neural network is used as an agent to generate network architecture. The accuracy of the generated network on the validation dataset is fed back to the agent as a reward, and the parameters of the agent are updated through the strategy gradient algorithm. We use PHM 2009 Data Challenge gearbox dataset to prove the effectiveness of proposed method, and obtain state-of-the-art results compared with other artificial designed network structures. To author's best knowledge, it's the first time that NAS has been applied in fault diagnosis.

研究动机与目标

• 自动化深度学习模型在故障诊断中的设计，减少对专家知识和大量超参数调优的依赖。
• 将神经架构搜索（NAS）应用于故障诊断，该领域在自动化模型发现方面仍处于探索阶段。
• 开发一种基于强化学习的NAS框架，以发现高性能、端到端的故障诊断架构。
• 评估NAS在提升诊断准确率方面相对于人工设计深度学习模型的有效性。

提出的方法

• 使用循环神经网络（RNN）作为控制器，通过从预定义的搜索空间中采样操作（如卷积核大小、空洞率）来生成神经网络架构。
• 控制器通过策略梯度优化进行训练，其中生成架构的验证准确率作为奖励信号。
• 在子网络之间采用参数共享，显著降低了在搜索过程中训练和评估多个架构的计算成本。
• 搜索空间基于残差块结构构建，操作包括不同卷积核大小（k=3,5）和空洞率（d=1,2,3）的卷积层。
• 训练过程在控制器采样架构、在训练集上训练这些架构，并根据验证准确率更新控制器之间交替进行。
• 该框架使用PyTorch在Tesla K80 GPU上实现，整个搜索过程耗时1.6小时。

实验结果

研究问题

• RQ1 基于强化学习的神经架构搜索能否有效发现适用于故障诊断的高性能深度学习架构？
• RQ2 NAS生成的模型在故障诊断任务中的性能与人工设计模型相比如何？
• RQ3 在不损害架构质量的前提下，参数共享在多大程度上减少了搜索时间？
• RQ4 在工业故障诊断中应用NAS时面临的关键挑战是什么，特别是关于模型复杂度、效率和部署约束方面？
• RQ5 NAS能否超越固定架构（如ResNet）的限制，以发现更高效、更准确的新颖结构用于故障诊断？

主要发现

• NAS生成的模型在测试集上达到78.91%的准确率，优于所有六个手动设计的ResNet变体（最高为76.22%）。
• 采样架构的验证准确率随搜索轮次稳步提升，表明控制器有效学习了策略。
• 采用参数共享显著缩短了搜索时间，使得整个搜索过程在单张GPU上仅耗时1.6小时。
• 结果表明，NAS能够自动化架构设计过程，并生成泛化性能优于专家设计模型的网络。
• 本研究识别出NAS在故障诊断中面临的关键挑战，包括模型效率（参数量和FLOPs）、超越固定架构的可扩展性，以及在完整机器学习流程中实现更广泛自动化的迫切需求。