[论文解读] Rapid Damage Assessment Using Social Media Images by Combining Human and Machine Intelligence

Muhammad Imran, Firoj Alam+3 more|arXiv (Cornell University)|Apr 14, 2020

Fire Detection and Safety Systems参考文献 25被引用 25

一句话总结

本文提出了一种混合人机系统，利用深度学习技术实时分析灾难期间推特平台上的社交媒体图像，实现对损毁程度的过滤与分类。该系统在飓风多拉里安期间部署，处理了约280,000张图像，在损毁检测中达到76%的准确率，在严重性评估中达到74%的准确率，经领域专家验证。

ABSTRACT

Rapid damage assessment is one of the core tasks that response organizations perform at the onset of a disaster to understand the scale of damage to infrastructures such as roads, bridges, and buildings. This work analyzes the usefulness of social media imagery content to perform rapid damage assessment during a real-world disaster. An automatic image processing system, which was activated in collaboration with a volunteer response organization, processed ~280K images to understand the extent of damage caused by the disaster. The system achieved an accuracy of 76% computed based on the feedback received from the domain experts who analyzed ~29K system-processed images during the disaster. An extensive error analysis reveals several insights and challenges faced by the system, which are vital for the research community to advance this line of research.

研究动机与目标

• 评估利用社交媒体图像进行快速灾难损毁评估的可行性，尤其是在关键的最初72小时内。
• 通过利用推特等平台公开分享的图像，减少对昂贵的卫星或遥感数据的依赖。
• 开发一种自动化的图像处理流水线，在损毁分类前过滤无关和重复的图像。
• 整合人在回路的反馈机制，以提高模型准确率，并应对灾难图像解读中的现实挑战。

提出的方法

• 部署了一个基于深度学习的图像处理系统，使用卷积神经网络（CNNs）对损毁分类任务进行训练，以检测图像中的损毁。
• 实施预处理步骤，通过图像哈希和元数据分析，过滤重复和无关的图像。
• 使用多分类模型将图像分为三类损毁严重性等级：严重、轻微和轻微至无损毁。
• 集成人在回路机制，由志愿者应急响应团队（MCCERT）的领域专家实时验证并校正系统输出。
• 利用专家反馈对模型进行迭代再训练，重点关注难分样本和模糊案例。
• 应用图像增强技术，如亮度和对比度调整，以提升在低光照和雾天场景下的性能。

实验结果

研究问题

• RQ1 在真实灾难中，推特的社交媒体图像能否被有效用于快速损毁评估？
• RQ2 机器学习系统在灾难期间对用户生成图像中的损毁检测与严重性分类的准确率如何？
• RQ3 在分类模糊或低质量灾难图像时面临的主要挑战是什么，如何缓解这些挑战？
• RQ4 人在回路的反馈在多大程度上能提升自动化损毁评估系统的性能与鲁棒性？

主要发现

• 系统在飓风多拉里安发生后13天的部署期间，处理了约280,000张来自推特的图像。
• 经过过滤后，约160,000张图像被认为相关，其中约26,000张被识别为包含损毁。
• 领域专家验证了29,000张系统处理的图像，损毁检测准确率达到76%，严重性评估准确率达到74%。
• 主要挑战包括错误分类洪水场景（尤其是汹涌海面）、低光照和雾天图像，以及与损毁相似的图像（如碎屑、施工场地）。
• 系统在航拍和大范围图像上表现不佳，原因在于尺度问题和损毁与未损毁区域混合，表明需要为地面图像和航拍图像分别建立独立模型。
• 表情包和地图常被错误分类，反映出训练数据不足，凸显了需要更多样化和具有代表性的标注数据集。