[论文解读] Towards Automated Post-Earthquake Inspections with Deep Learning-based Condition-Aware Models

Vedhus Hoskere, Yasutaka Narazaki+2 more|arXiv (Cornell University)|Sep 24, 2018

Infrastructure Maintenance and Monitoring参考文献 8被引用 38

一句话总结

本文提出了一种基于深度学习的框架，利用无人机采集的图像生成与工况相关的三维模型，以实现地震后结构检查的自动化。通过将建筑物图像的语义分割与多视角立体重建相结合，该方法能够识别损伤（例如裂缝、剥落）以及上下文特征（例如窗户、门），展示了在真实地震场景中实现快速、自动化损伤评估的可行性。

ABSTRACT

In the aftermath of an earthquake, rapid structural inspections are required to get citizens back in to their homes and offices in a safe and timely manner. These inspections gfare typically conducted by municipal authorities through structural engineer volunteers. As manual inspec-tions can be time consuming, laborious and dangerous, research has been underway to develop methods to help speed up and increase the automation of the entire process. Researchers typi-cally envisage the use of unmanned aerial vehicles (UAV) for data acquisition and computer vision for data processing to extract actionable information. In this work we propose a new framework to generate vision-based condition-aware models that can serve as the basis for speeding up or automating higher level inspection decisions. The condition-aware models are generated by projecting the inference of trained deep-learning models on a set of images of a structure onto a 3D mesh model generated through multi-view stereo from the same image set. Deep fully convolutional residual networks are used for semantic segmentation of images of buildings to provide (i) damage information such as cracks and spalling (ii) contextual infor-mation such as the presence of a building and visually identifiable components like windows and doors. The proposed methodology was implemented on a damaged building that was sur-veyed by the authors after the Central Mexico Earthquake in September 2017 and qualitative-ly evaluated. Results demonstrate the promise of the proposed method towards the ultimate goal of rapid and automated post-earthquake inspections.

研究动机与目标

• 通过自动化结构评估减少地震后对耗时的人工检查的依赖。
• 开发一种基于视觉的系统，将损伤检测与三维结构建模相结合，以提升态势感知能力。
• 利用无人机采集的图像和深度学习技术，生成受损建筑的工况感知三维模型。
• 通过结合计算机视觉与三维重建，实现更快捷、更安全且更具可扩展性的灾后评估。
• 为市政当局和工程师提供可操作的、数据驱动的洞察，以优先安排检查工作。

提出的方法

• 利用深度全卷积残差网络对无人机拍摄的图像进行语义分割，以检测结构损伤和上下文元素。
• 应用多视角立体重建技术，从同一组图像中生成三维网格模型。
• 将二维图像的分割结果投影到三维网格上，生成反映建筑表面损伤分布的工况感知模型。
• 结合多角度的视觉数据，确保损伤特征的空间一致性与精确定位。
• 采用集成图像采集、语义分割、三维重建和特征投影的端到端流程，实现损伤建模。
• 在2017年墨西哥中部地震后实际调查的一栋建筑上验证了该框架。

实验结果

研究问题

• RQ1 深度学习模型能否在地震后建筑图像中准确检测裂缝和剥落等结构损伤？
• RQ2 能否从无人机图像集合中有效生成三维网格模型以支持损伤可视化？
• RQ3 将二维分割结果投影到三维网格上，在多大程度上提升了损伤评估的可解释性与实用性？
• RQ4 与人工方法相比，所提出的框架是否能显著缩短检查时间并提升安全性？
• RQ5 在二维到三维的投影过程中，系统在多大程度上保持了空间精度和上下文信息？

主要发现

• 该框架通过将二维无人机图像的语义分割结果投影到受损建筑的三维网格上，成功生成了工况感知的三维模型。
• 该方法准确识别了可见的损伤特征（如裂缝和剥落）以及上下文元素（如窗户和门）。
• 定性评估证实，该模型能够以空间一致的方式精确定位并呈现建筑表面的损伤。
• 深度学习与三维重建的结合，为灾后评估提供了一种可扩展且自动化的解决方案。
• 该系统在保持结构细节和空间精度的同时，展现出减少对人工检查依赖的潜力。
• 该方法在2017年墨西哥中部地震的真实数据上得到验证，证实了其实际应用价值。