[论文解读] Transformer-based Flood Scene Segmentation for Developing Countries

M R Ahan, Roshan Roy+3 more|arXiv (Cornell University)|Oct 9, 2022

Flood Risk Assessment and Management被引用 5

一句话总结

本文提出FloodTransformer，一种用于航空与无人机影像中洪水影响区域语义分割的混合CNN-Transformer模型，在WSOC数据集上实现了0.93 mIoU的最先进性能。该研究引入了洪水容量（Flood Capacity, FC）这一新指标，用于量化水体覆盖范围，从而提升资源有限的发展中国家在洪水预测与灾后需求评估方面的能力。

ABSTRACT

Floods are large-scale natural disasters that often induce a massive number of deaths, extensive material damage, and economic turmoil. The effects are more extensive and longer-lasting in high-population and low-resource developing countries. Early Warning Systems (EWS) constantly assess water levels and other factors to forecast floods, to help minimize damage. Post-disaster, disaster response teams undertake a Post Disaster Needs Assessment (PDSA) to assess structural damage and determine optimal strategies to respond to highly affected neighbourhoods. However, even today in developing countries, EWS and PDSA analysis of large volumes of image and video data is largely a manual process undertaken by first responders and volunteers. We propose FloodTransformer, which to the best of our knowledge, is the first visual transformer-based model to detect and segment flooded areas from aerial images at disaster sites. We also propose a custom metric, Flood Capacity (FC) to measure the spatial extent of water coverage and quantify the segmented flooded area for EWS and PDSA analyses. We use the SWOC Flood segmentation dataset and achieve 0.93 mIoU, outperforming all other methods. We further show the robustness of this approach by validating across unseen flood images from other flood data sources.

研究动机与目标

• 解决发展中国家在资源有限且洪水易发背景下，对自动化、可扩展洪水损毁评估的迫切需求。
• 克服人工灾后需求评估（PDSA）和早期预警系统（EWS）数据处理效率低下且易出错的局限性。
• 开发一种深度学习模型，使其在包括社交媒体、无人机（UAV）和监控摄像头在内的多种视觉数据源中具备良好的泛化能力。
• 提出一种新指标——洪水容量（FC），用于定量测量洪水的空间范围，以提升灾害响应与预测能力。
• 证明视觉Transformer架构在洪水分割任务中的鲁棒性，其精度与泛化能力优于传统CNN模型。

提出的方法

• 提出一种混合FloodTransformer架构，结合视觉Transformer编码器与基于CNN的解码器，以同时利用全局注意力机制与局部特征学习能力。
• 在视觉Transformer编码器中采用基于图像块的自注意力机制，以建模异质洪水场景中的长距离空间依赖关系。
• 通过Hadamard双线性操作融合CNN学习到的嵌入表示与Transformer学习到的特征表示，以增强特征表达能力。
• 在Water Segmentation Open Collection（WSOC）数据集上端到端训练模型，采用二元交叉熵损失与Dice损失进行像素级分割。
• 引入洪水容量（FC）作为自定义指标，定义为分割出的水体像素数与图像总像素数的比值，以实现对洪水范围的量化。
• 在分布外的航空影像上进行零样本推理，以评估模型泛化能力，同时支持针对本地场景的微调校准。

实验结果

研究问题

• RQ1 基于视觉Transformer的模型是否能在发展中国家真实世界、多样化的影像中实现洪水水体分割的最先进性能？
• RQ2 FloodTransformer在来自不同数据源与成像条件的未见洪水图像上是否具备良好的泛化能力？
• RQ3 与标准分割指标相比，所提出的洪水容量（FC）指标在多大程度上提升了洪水范围的量化精度？
• RQ4 混合CNN-Transformer架构是否在洪水分割任务中优于纯CNN模型（如U-Net与PSPNet）？
• RQ5 该模型在资源有限的灾害响应环境中，是否能有效减轻PDSA与EWS的人工分析负担？

主要发现

• 在WSOC数据集上，FloodTransformer实现了0.93的平均交并比（mIoU），优于所有先前方法，包括U-Net、PSPNet与FCN32。
• 模型在像素准确率（PA）上达到96%，标准差仅为0.02，表明其在分割性能上具有高度一致性与鲁棒性。
• 在分布外的航空影像上，FloodTransformer保持了强大的泛化能力，FC值分别为0.18与0.26，证明其在未见真实洪水场景中的有效性。
• 模型在多种图像源上表现稳定，涵盖低分辨率社交媒体图像与高分辨率无人机影像。
• 引入洪水容量（FC）指标后，可实现对洪水范围的定量评估，支持EWS与PDSA通过测量水体空间覆盖范围进行决策。
• 混合架构减少了对CNN归纳偏置的依赖，提升了在复杂、异质洪水场景中的泛化能力与鲁棒性。