[论文解读] Simulation-to-reality UAV Fault Diagnosis with Deep Learning

Wěi Zhāng, Junjie Tong+2 more|arXiv (Cornell University)|Feb 9, 2023

Target Tracking and Data Fusion in Sensor Networks被引用 4

一句话总结

本文提出了一种用于无人机旋翼故障诊断的仿真到现实的深度学习框架，采用新识别特征（NIF）与领域自适应（DA）技术，以弥合仿真与现实之间的差距。通过将NIF与基于MMD的领域自适应结合，并改进仿真模型，该方法在真实四旋翼飞行中实现了96%的故障检测准确率，标志着四旋翼无人机首个可靠且高效的仿真到现实故障诊断方法。

ABSTRACT

Accurate diagnosis of propeller faults is crucial for ensuring the safe and efficient operation of quadrotors. Training a fault classifier using simulated data and deploying it on a real quadrotor is a cost-effective and safe approach. However, the simulation-to-reality gap often leads to poor performance of the classifier when applied in real flight. In this work, we propose a deep learning model that addresses this issue by utilizing newly identified features (NIF) as input and utilizing domain adaptation techniques to reduce the simulation-to-reality gap. In addition, we introduce an adjusted simulation model that generates training data that more accurately reflects the behavior of real quadrotors. The experimental results demonstrate that our proposed approach achieves an accuracy of 96\% in detecting propeller faults. To the best of our knowledge, this is the first reliable and efficient method for simulation-to-reality fault diagnosis of quadrotor propellers.

研究动机与目标

• 解决在仿真数据上训练并在真实无人机上部署时，因仿真到现实差距导致故障分类器性能下降的问题。
• 提升深度学习模型在仿真与真实飞行数据之间领域偏移下的泛化能力。
• 开发一种成本低且安全的故障诊断流程，依赖仿真数据同时在真实部署中保持高准确率。
• 提出一种新型特征表示（NIF），以增强模型对领域偏移的鲁棒性并提升学习效率。

提出的方法

• 提出新识别特征（NIF），其在输入信号间表现出线性关系，从而实现更高效且鲁棒的深度学习训练。
• 采用基于最大均值差异（MMD）的领域自适应方法，对齐仿真（源域）与真实（目标域）的特征分布。
• 设计一种改进的仿真模型，更真实地再现真实四旋翼机的非对称动力学特性，从而提升合成训练数据的真实性。
• 采用1D-CNN（DCNN）架构，源域与目标域共享网络层，并通过对抗性领域自适应进行微调。
• 利用t-SNE可视化验证，经领域自适应后的仿真与真实飞行特征在潜在空间中高度对齐。
• 使用仿真数据（数据集S）与真实飞行数据（数据集T）联合训练模型，通过早停法与Adam优化算法对超参数进行优化。

实验结果

研究问题

• RQ1 新识别特征（NIF）是否能提升深度学习模型在无人机故障诊断中仿真到现实领域偏移下的泛化能力？
• RQ2 基于MMD的领域自适应在多大程度上可缩小仿真与真实世界故障分类之间的性能差距？
• RQ3 当模型仅在仿真数据上训练时，该方法在真实飞行数据上实现高准确率的效果如何？
• RQ4 一种更真实反映真实四旋翼机动力学特性的改进仿真模型，是否能提升训练分类器的可迁移性？

主要发现

• 使用传统特征的DCNN+CF模型在真实飞行数据（数据集T）上的平均准确率仅为73%，凸显了仿真到现实迁移的挑战。
• DCNN+NIF模型在真实飞行数据上的准确率提升至约80%，证明NIF可增强模型在跨域场景下的泛化能力。
• DCNN+NIF+DA模型在真实飞行数据上达到96%的准确率，显著优于两种基线模型，充分验证了领域自适应的有效性。
• t-SNE可视化结果表明，DCNN+NIF+DA模型学习到的特征在仿真与真实飞行数据之间在潜在空间中高度对齐，解释了其优异的迁移性能。
• 该方法表现出高度的稳定性和可重复性，十次独立训练实验结果一致，表明其鲁棒性。
• 据作者所知，这是首个可靠且高效的四旋翼无人机旋翼仿真到现实故障诊断方法，在真实部署中达到最先进准确率。