[论文解读] Post-hurricane building damage assessment using street-view imagery and structured data: A multi-modal deep learning approach

Zhuoqun Xue, Xiaojian Zhang+4 more|arXiv (Cornell University)|Apr 11, 2024

Remote Sensing and Land UseEarth and Planetary Sciences被引用 3

一句话总结

本文提出了一种多模态深度学习模型——多模态Swin Transformer（MMST），通过融合街景图像与结构化数据（如风速、建筑年龄）实现飓风过后建筑物损伤分类。通过利用Swin Transformer进行图像特征提取，并采用多头自注意力机制处理结构化数据，MMST在准确率上达到92.67%，较VGG-16高出7.71%，证明了在结合视觉与上下文数据进行损伤评估方面具有优越性能。

ABSTRACT

Accurately assessing building damage is critical for disaster response and recovery. However, many existing models for detecting building damage have poor prediction accuracy due to their limited capabilities of identifying detailed, comprehensive structural and/or non-structural damage from the street-view image. Additionally, these models mainly rely on the imagery data for damage classification, failing to account for other critical information, such as wind speed, building characteristics, evacuation zones, and distance of the building to the hurricane track. To address these limitations, in this study, we propose a novel multi-modal (i.e., imagery and structured data) approach for post-hurricane building damage classification, named the Multi-Modal Swin Transformer (MMST). We empirically train and evaluate the proposed MMST using data collected from the 2022 Hurricane Ian in Florida, USA. Results show that MMST outperforms all selected state-of-the-art benchmark models and can achieve an accuracy of 92.67%, which are 7.71% improvement in accuracy compared to Visual Geometry Group 16 (VGG-16). In addition to the street-view imagery data, building value, building age, and wind speed are the most important predictors for damage level classification. The proposed MMST can be deployed to assist in rapid damage assessment and guide reconnaissance efforts in future hurricanes.

研究动机与目标

• 为解决单模态模型在飓风过后建筑物损伤评估中的局限性，特别是因仅依赖图像导致的准确率低下问题。
• 将结构化数据（如风速、建筑年龄、距飓风路径距离）整合进深度学习模型，以提升损伤预测性能。
• 开发一种多模态深度学习框架，有效融合视觉与非视觉数据，实现更准确、更鲁棒的建筑物损伤分类。
• 在佛罗里达州2022年飓风伊恩的真实数据上评估所提出的模型，确保其实际应用价值与实证有效性。
• 证明基于注意力机制的Transformer模型在捕捉全局损伤模式及聚焦显著损伤区域方面优于传统CNNs。

提出的方法

• 采用Swin-S Transformer作为图像特征提取的主干网络，利用其移位窗口自注意力机制，捕捉街景图像中的多尺度与全局关系。
• 采用多头自注意力（MHSA）处理结构化数据输入，为不同特征（如建筑年龄、风速）动态分配权重，提升模型可解释性与性能。
• 引入可学习的融合模块，配备可调节的融合比例，以结合图像与结构化数据的表征，优化多模态输入的整合效果。
• 在2022年飓风伊恩的真实数据集上进行MMST模型的训练与评估，包含1,000多栋建筑物的街景图像及其相关飓风属性。
• 采用四分类损伤分类任务（如无损伤、轻微、中等、严重），通过准确率、MCC与F1-score等标准指标评估模型性能。
• 通过消融研究评估各模态与组件的贡献，包括结构化数据与注意力机制的影响。

实验结果

研究问题

• RQ1 与单模态模型相比，融合街景图像与结构化数据的多模态深度学习模型是否能显著提升飓风过后建筑物损伤分类的准确率？
• RQ2 Swin Transformer主干网络相较于传统CNNs（如VGG-16、ResNet）在从街景图像中捕捉全局与局部损伤模式方面表现如何？
• RQ3 不同结构化数据特征（如风速、建筑年龄、建筑价值）对损伤预测准确率的相对贡献是什么？
• RQ4 图像与结构化数据表征之间何种融合比例能最大化多模态损伤分类的模型性能？
• RQ5 通过结构化数据引入领域知识在多大程度上提升了模型在真实灾害场景下的鲁棒性与可靠性？

主要发现

• MMST在飓风伊恩数据集上实现了92.67%的分类准确率，较测试中最强的基线模型VGG-16高出7.71%。
• 与仅使用单模态Swin Transformer相比，引入结构化数据使模型准确率提升1.38%，MCC提升9.70%，F1-score提升1.44%。
• 建筑年龄、风速与建筑价值被识别为损伤等级分类中最具影响力的结构化数据预测因子。
• 针对结构化数据的多头自注意力机制显著增强了模型鲁棒性，通过动态加权不同特征的重要性。
• 图像与结构化数据表征之间融合比例为0.80时，模型性能达到最高，表明该比例实现了模态间的最优平衡。
• 视觉注意力图显示，基于Transformer的模型能更精确地聚焦于关键损伤区域（如破损窗户、倒塌墙体），而CNNs通常关注无关或噪声区域。