[论文解读] Roof fall hazard detection with convolutional neural networks using transfer learning

E. Isleyen, Şebnem Düzgün+1 more|arXiv (Cornell University)|Nov 12, 2020

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本文提出一种基于迁移学习的卷积神经网络（CNN），用于在高水平应力环境下自动检测采矿和隧道作业中的冒顶隐患。基于有限的真实屋顶状况图像，该模型在分类危险与非危险状况方面达到了86%的准确率，且通过积分梯度法揭示，网络学习到了与专家判断一致的地质学上有意义的特征。

ABSTRACT

Roof falls due to geological conditions are major safety hazards in mining and tunneling industries, causing lost work times, injuries, and fatalities. Several large-opening limestone mines in the Eastern and Midwestern United States have roof fall problems caused by high horizontal stresses. The typical hazard management approach for this type of roof fall hazard relies heavily on visual inspections and expert knowledge. In this study, we propose an artificial intelligence (AI) based system for the detection roof fall hazards caused by high horizontal stresses. We use images depicting hazardous and non-hazardous roof conditions to develop a convolutional neural network for autonomous detection of hazardous roof conditions. To compensate for limited input data, we utilize a transfer learning approach. In transfer learning, an already-trained network is used as a starting point for classification in a similar domain. Results confirm that this approach works well for classifying roof conditions as hazardous or safe, achieving a statistical accuracy of 86%. However, accuracy alone is not enough to ensure a reliable hazard management system. System constraints and reliability are improved when the features being used by the network are understood. Therefore, we used a deep learning interpretation technique called integrated gradients to identify the important geologic features in each image for prediction. The analysis of integrated gradients shows that the system mimics expert judgment on roof fall hazard detection. The system developed in this paper demonstrates the potential of deep learning in geological hazard management to complement human experts, and likely to become an essential part of autonomous tunneling operations in those cases where hazard identification heavily depends on expert knowledge.

研究动机与目标

• 开发一种基于人工智能的系统，用于自动检测采矿和隧道作业中的冒顶隐患。
• 通过迁移学习解决屋顶状况图像标注数据有限的挑战。
• 通过使用积分梯度法解释模型预测所依赖的特征，提升系统的可靠性。
• 验证深度学习模型的决策过程是否与专家在隐患评估中的地质学知识一致。

提出的方法

• 在从石灰岩矿中采集的小型屋顶状况图像数据集上微调预训练的卷积神经网络（CNN）。
• 通过使用ImageNet权重初始化CNN，并调整最后几层以实现二分类（危险与安全的屋顶状况）。
• 采用数据增强技术人工扩展训练集，以提高泛化能力。
• 使用积分梯度法——一种深度学习解释方法——识别并可视化每个预测中最具影响力的图像区域。
• 使用交叉熵损失和Adam优化器配合学习率调度策略训练模型。
• 在保留的测试集上使用标准指标（包括准确率、精确率、召回率和F1分数）评估模型性能。

实验结果

研究问题

• RQ1 基于迁移学习的CNN能否有效从有限的真实采矿环境图像中对冒顶隐患进行分类？
• RQ2 在准确率和可靠性方面，该模型的性能与传统人工视觉检查方法相比如何？
• RQ3 在屋顶图像中，哪些地质特征对模型的隐患预测最具影响力？
• RQ4 该模型的决策过程在多大程度上与专家的地质学判断一致？
• RQ5 像积分梯度这样的可解释性技术能否增强AI在安全关键型采矿应用中的信任度与可用性？

主要发现

• 所提出的基于迁移学习的CNN在区分危险与非危险屋顶状况方面达到了86%的分类准确率。
• 积分梯度分析显示，模型重点关注了地质学上相关的特征，如节理模式、裂缝以及应力引起的变形——这与专家的视觉评估结果一致。
• 模型对特定结构特征的关注表明其学习到了有意义的表征，而非偶然相关性。
• 该系统在支持人类专家实现实时隐患检测方面，显示出集成到自主隧道作业中的潜力。
• 使用可解释AI技术增强了模型预测的透明度，有助于在安全关键应用中建立对模型的信任。
• 尽管准确率较高，但模型性能仍受限于数据集规模和领域特异性差异，凸显了进一步数据收集与领域自适应的必要性。