[论文解读] xFBD: Focused Building Damage Dataset and Analysis

Dennis Melamed, Cameron Johnson+5 more|arXiv (Cornell University)|Dec 23, 2022

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本文提出 xFBD，一个新型增强数据集和基于目标的评估指标，用于独立评估建筑物损毁检测模型，以解决 xView2 竞赛中模型过度依赖上下文线索的问题。研究发现，xView2 的顶尖模型在孤立损毁案例中表现不佳，并提出了新的损失函数（4PS-Focal、4PS-Contour）和基线模型，以提升目标级别的可分性和定位精度，表明建筑物损毁检测在细粒度、上下文无关分析方面仍是一个开放性挑战。

ABSTRACT

The xView2 competition and xBD dataset spurred significant advancements in overhead building damage detection, but the competition's pixel level scoring can lead to reduced solution performance in areas with tight clusters of buildings or uninformative context. We seek to advance automatic building damage assessment for disaster relief by proposing an auxiliary challenge to the original xView2 competition. This new challenge involves a new dataset and metrics indicating solution performance when damage is more local and limited than in xBD. Our challenge measures a network's ability to identify individual buildings and their damage level without excessive reliance on the buildings' surroundings. Methods that succeed on this challenge will provide more fine-grained, precise damage information than original xView2 solutions. The best-performing xView2 networks' performances dropped noticeably in our new limited/local damage detection task. The common causes of failure observed are that (1) building objects and their classifications are not separated well, and (2) when they are, the classification is strongly biased by surrounding buildings and other damage context. Thus, we release our augmented version of the dataset with additional object-level scoring metrics (https://drive.google.com/drive/folders/1VuQZuAg6-Yo8r5J4OCx3ZRpa_fv9aaDX?usp=sharing) to test independence and separability of building objects, alongside the pixel-level performance metrics of the original competition. We also experiment with new baseline models which improve independence and separability of building damage predictions. Our results indicate that building damage detection is not a fully-solved problem, and we invite others to use and build on our dataset augmentations and metrics.

研究动机与目标

• 为解决 xView2 模型在损毁分类中过度依赖上下文信息的问题，该问题会削弱其在孤立损毁建筑物上的表现。
• 开发一种新的数据集增强方法，利用泊松混合技术将单个损毁建筑物合成到原本无损毁的场景中，以实现建筑物的孤立化。
• 引入基于目标的评估指标，用于衡量模型在单个建筑物上的表现，而非基于像素的平均值。
• 评估现有顶尖 xView2 模型在孤立损毁场景下的泛化能力是否较差。
• 提出新的损失函数（4PS-Focal、4PS-Contour），以增强建筑物损毁检测中目标的可分性和边界准确性。

提出的方法

• 通过使用泊松混合技术，将单个损毁建筑物合成到原本无损毁的灾前场景中，对 xBD 数据集进行合成增强，生成 xFBD 数据集。
• 引入基于目标的评估指标，用于评估模型在单个建筑物上的表现，包括基于目标的定位 F1 和损毁分类 F1。
• 设计一种改进的 4PS 损失函数，包含焦点损失（L_R）和软 Dice 损失（L_SD）组件，以提升孤立建筑物的分类性能。
• 实现一种轮廓损失（L_Contour），将分类损失与 Dice 损失结合，以增强边界准确性和目标可分性。
• 在 xBD 和 xFBD 上分别使用 Mask-RCNN 和改进的 4PS 模型训练并评估新基线模型，以比较不同指标下的性能表现。
• 应用过滤机制，排除从屋顶视角不可见损毁的建筑物（如洪水影响的建筑物），以确保评估的有效性。

实验结果

研究问题

• RQ1 当上下文信息被移除后，xView2 的顶尖模型在孤立损毁建筑物上的表现如何？
• RQ2 当前模型在多大程度上依赖于周围环境进行损毁分类，而非基于建筑物自身的特征？
• RQ3 新的损失函数（4PS-Focal、4PS-Contour）是否能提升单个建筑物损毁预测的可分性和准确性？
• RQ4 基于目标的指标与基于像素的指标在揭示孤立损毁案例中模型失败方面有何差异？
• RQ5 作为目标检测模型，Mask-RCNN 是否在孤立建筑物损毁检测中优于基于实例分割的模型？

主要发现

• xView2 的前五名模型在 xFBD 挑战中表现极差，基于目标的 F1 分数低于 0.05，表明其在检测孤立损毁建筑物方面存在严重失败。
• 主要失败模式为建筑物目标分离能力差，以及由于周围上下文影响导致的损毁分类强烈偏差，即使建筑物本身已明显损毁。
• 4PS-Focal 和 4PS-Contour 损失变体在 xFBD 数据集上均优于原始 4PS 基线，其中 4PS-Focal 达到 0.040 的 F1 分数，4PS-Contour 达到 0.050。
• Mask-RCNN 在基于目标的定位任务中优于 4PS 模型，F1 分数达到 0.210，表明基于目标感知架构具有固有优势。
• 基于目标的评估指标揭示了在基于像素的指标中无法察觉的显著性能差距，例如 xView2 模型的像素级得分高达 0.887，但完全遗漏了损毁建筑物。
• 本研究证实，建筑物损毁检测尚未完全解决，上下文无关的细粒度分析仍是关键的开放性挑战。