[论文解读] xBD: A Dataset for Assessing Building Damage from Satellite Imagery

Ritwik Gupta, Richard Hosfelt+7 more|arXiv (Cornell University)|Nov 21, 2019

Remote-Sensing Image Classification参考文献 14被引用 69

一句话总结

xBD 提供一个大规模的多灾种卫星影像数据集，包含建筑轮廓、多类损伤标签和环境因素，旨在推进人道主义情境中的自动化建筑损伤评估。它支持 xView 2 挑战，具备训练/测试/保留划分。

ABSTRACT

We present xBD, a new, large-scale dataset for the advancement of change detection and building damage assessment for humanitarian assistance and disaster recovery research. Natural disaster response requires an accurate understanding of damaged buildings in an affected region. Current response strategies require in-person damage assessments within 24-48 hours of a disaster. Massive potential exists for using aerial imagery combined with computer vision algorithms to assess damage and reduce the potential danger to human life. In collaboration with multiple disaster response agencies, xBD provides pre- and post-event satellite imagery across a variety of disaster events with building polygons, ordinal labels of damage level, and corresponding satellite metadata. Furthermore, the dataset contains bounding boxes and labels for environmental factors such as fire, water, and smoke. xBD is the largest building damage assessment dataset to date, containing 850,736 building annotations across 45,362 km extsuperscript{2} of imagery.

研究动机与目标

• 提供一个大规模、多样化的灾前与灾后影像数据集，含建筑轮廓和损伤标签，以支持自动化评估。
• 引入一个跨多种灾害类型适用的统一损伤尺度（联合损伤尺度）。
• 促进用于人道救援与灾害响应的计算机视觉模型的评估与开发。

提出的方法

• 从 Maxar/DigitalGlobe Open Data Program 在多地理区域准备用11个 Tier 1 和8个 Tier 3 的灾害事件。
• 在灾前影像中标注建筑轮廓，并通过叠加到灾后影像来分配联合损伤尺度标签。
• 包括与损伤情境相关的环境因素注记（火灾、烟雾、洪水等）。
• 应用图像平移以应对灾前与灾后影像重新投影差异导致的多边形漂移。
• 提供训练/测试/保留划分（80/10/10），以支持公开排行榜与私有评估。
• 基线模型包括定位模型（改良的 U-Net）和分类模型（ResNet50 + 浅层 CNN），并使用序贯交叉熵训练。

实验结果

研究问题

• RQ1 如何创建适用于卫星影像的统一、跨灾种的损伤评估尺度？
• RQ2 从灾前与灾后卫星影像可实现的建筑损伤注记的规模和多样性是多少？
• RQ3 基线计算机视觉模型是否能够在 xBD 上有效定位建筑并对损伤等级进行分类？
• RQ4 损伤标签质量如何影响人道援助与灾害响应设定中的自动化损伤评估？
• RQ5 在构建大规模、真实世界的灾害响应卫星影像数据集时，实际的数据收集与注记挑战有哪些？

主要发现

损伤类型	F1 分数	精度	召回率
No Damage	0.6631	0.8770	0.5330
Minor Damage	0.1435	0.1971	0.1128
Major Damage	0.0094	0.7259	0.0047
Destroyed	0.4657	0.5050	0.4321

• xBD 包含 850,736 个建筑多边形，覆盖 45,362 平方公里，来自 19 次灾难和 22,068 张影像。
• 数据集使用四级联合损伤尺度（0-3：无损伤至已毁坏）。
• 基线定位在背景的 IoU 为 0.97，建筑物为 0.66。
• 使用 ResNet50 主干加小型 CNN 的基线分类在四个损伤类别上的加权 F1 得分为 0.2654。
• 损伤类别分布高度不均衡，