[论文解读] Post-Hurricane Damage Assessment Using Satellite Imagery and Geolocation Features

Quoc Dung Cao, Youngjun Choe|arXiv (Cornell University)|Dec 15, 2020

Tropical and Extratropical Cyclones Research被引用 6

一句话总结

本文提出一种混合数据深度学习方法，将高分辨率卫星影像与地理定位特征（如高程和水体 proximity）相结合，以提升飓风后建筑物损毁评估的准确性。通过在地理定位特征中融入物理领域知识，该模型实现了 97.47% 的准确率，显著优于仅使用影像的模型，同时提升了损毁建筑物的召回率，并减少了对大规模超参数调优的依赖。

ABSTRACT

Gaining timely and reliable situation awareness after hazard events such as a hurricane is crucial to emergency managers and first responders. One effective way to achieve that goal is through damage assessment. Recently, disaster researchers have been utilizing imagery captured through satellites or drones to quantify the number of flooded/damaged buildings. In this paper, we propose a mixed data approach, which leverages publicly available satellite imagery and geolocation features of the affected area to identify damaged buildings after a hurricane. The method demonstrated significant improvement from performing a similar task using only imagery features, based on a case study of Hurricane Harvey affecting Greater Houston area in 2017. This result opens door to a wide range of possibilities to unify the advancement in computer vision algorithms such as convolutional neural networks and traditional methods in damage assessment, for example, using flood depth or bare-earth topology. In this work, a creative choice of the geolocation features was made to provide extra information to the imagery features, but it is up to the users to decide which other features can be included to model the physical behavior of the events, depending on their domain knowledge and the type of disaster. The dataset curated in this work is made openly available (DOI: 10.17603/ds2-3cca-f398).

研究动机与目标

• 通过将卫星影像与地理定位特征相结合，提升飓风后建筑物损毁评估的模型准确率与泛化能力。
• 通过引入反映灾害风险模式的物理意义明确的地理定位特征，减少对大规模高质量标注数据集的依赖。
• 通过从飓风后的影像中收集未损毁建筑物的标签，构建更真实且更具泛化能力的数据集，提升模型部署潜力。
• 证明地理定位特征可提升模型性能，尤其在损毁建筑物的召回率方面，并减少对大规模超参数调优的需求。
• 通过使用相对而非绝对的地理空间特征，实现模型在其他区域和灾害类型中的可迁移性。

提出的方法

• 模型采用卷积神经网络（CNN）架构，从高分辨率 RGB 卫星影像中提取图像特征。
• 通过工程化处理地理定位特征（包括相对高程和与水体的接近程度），反映与洪水和风暴潮相关的物理风险因素。
• 将图像特征与地理定位特征拼接后，输入全连接神经网络，完成建筑物损毁状态的最终分类。
• 采用五折交叉验证策略，确保性能评估的稳健性，且每折中各类样本的分布保持一致。
• 数据集按 67% 训练集和 33% 测试集进行划分，性能通过标准指标（准确率、F1 分数、精确率和召回率）进行评估。
• 分类采用 50% 的概率阈值，但在实际应用中可根据需要调整以优先提升召回率。

Figure 1: Workflow of the mixed data neural network model.

实验结果

研究问题

• RQ1 将地理定位特征与卫星影像结合，能否提升飓风后建筑物损毁评估的准确率与鲁棒性？
• RQ2 与仅使用影像相比，地理定位特征（如高程和与水体的接近程度）在识别损毁建筑物方面有何贡献？
• RQ3 地理定位特征在多大程度上可提升损毁建筑物的召回率，特别是在类别不平衡的情况下？
• RQ4 在使用相对而非绝对地理空间特征的前提下，是否可使在某一区域训练的模型泛化至其他区域而无需重新训练？
• RQ5 混合数据方法在多大程度上可减少损毁评估模型中对大规模超参数调优的需求？

主要发现

• 混合数据模型（影像 + 地理定位特征）达到 97.47% 的准确率，显著优于仅使用影像的模型（79.5%）和仅使用地理定位特征的模型（88.6%）。
• 仅使用地理定位特征的模型实现了 97% 的召回率，表明其在检测损毁建筑物方面具有强大能力，而仅使用影像的模型召回率仅为 64%。
• 联合模型的 F1 分数达到 0.94，表明精确率与召回率之间取得良好平衡，精确率为 91%，召回率为 99%。
• 地理定位特征对召回率贡献更大，而图像特征对精确率贡献更大，凸显了二者互补的优势。
• 模型在五次交叉验证中表现稳定，准确率标准差较低（例如，准确率标准差为 2.5%），表明其具有强鲁棒性。
• 使用相对地理空间特征（如相对高程）可实现模型在其他区域的潜在部署，尤其通过调整阈值即可实现，显著减少重训练需求。

(a) ‘Undamaged Building’ using pre-event imagery