[论文解读] Social Media Images Classification Models for Real-time Disaster Response.

Firoj Alam, Md Tanvirul Alam+2 more|arXiv (Cornell University)|Apr 9, 2021

Public Relations and Crisis Communication被引用 7

一句话总结

本研究评估了十种预训练深度学习架构在灾难响应中实时社交媒体图像分类中的表现，重点关注灾难检测、损毁严重程度和人道主义类别分类。通过使用大规模公开数据集以及数据增强和多任务学习等技术，作者取得了优异的性能，证明了迁移学习在可扩展、实时灾难信息学应用中的可行性。

ABSTRACT

Images shared on social media help crisis managers in terms of gaining situational awareness and assessing incurred damages, among other response tasks. As the volume and velocity of such content are really high, therefore, real-time image classification became an urgent need in order to take a faster response. Recent advances in computer vision and deep neural networks have enabled the development of models for real-time image classification for a number of tasks, including detecting crisis incidents, filtering irrelevant images, classifying images into specific humanitarian categories, and assessing the severity of the damage. For developing real-time robust models, it is necessary to understand the capability of the publicly available pretrained models for these tasks. In the current state-of-art of crisis informatics, it is under-explored. In this study, we address such limitations. We investigate ten different architectures for four different tasks using the largest publicly available datasets for these tasks. We also explore the data augmentation, semi-supervised techniques, and a multitask setup. In our extensive experiments, we achieve promising results.

研究动机与目标

• 为解决在灾难信息学中针对实时灾难图像分类的预训练模型缺乏实证评估的问题。
• 评估十种深度学习架构在四个不同灾难相关图像分类任务中的性能表现。
• 研究数据增强、半监督学习和多任务训练对模型鲁棒性和准确率的影响。
• 利用目前最大的公开可用数据集，建立一个全面的基准，用于灾难图像分类。

提出的方法

• 评估十种最先进的深度神经网络架构（如ResNet、DenseNet、EfficientNet）在ImageNet上预训练后，用于下游灾难图像分类任务。
• 应用数据增强技术以提升模型在数据稀缺情况下的泛化能力和鲁棒性。
• 探索半监督学习策略，以利用未标注的社交媒体图像提升性能。
• 实施多任务学习设置，联合优化多个与灾难相关的分类目标。
• 在目前最大的公开可用灾难图像分类数据集上进行训练和评估，包括损毁严重程度和人道主义类别标注的数据集。
• 使用迁移学习将通用模型适配到特定领域的灾难响应任务中。

实验结果

研究问题

• RQ1 预训练的深度学习模型在灾难响应中的实时社交媒体图像分类任务中表现如何？
• RQ2 在资源有限的灾难图像分类场景中，数据增强对模型性能有何影响？
• RQ3 当标注数据有限时，半监督学习能在多大程度上提升分类准确率？
• RQ4 多任务学习是否能提升多个灾难相关图像分类任务中的泛化能力？

主要发现

• 在灾难特定数据集上微调的预训练模型在所有四项分类任务中均表现出色，证明了迁移学习的有效性。
• 数据增强显著提升了模型的鲁棒性，尤其是在标注训练数据有限的情况下。
• 半监督学习技术在标注数据稀缺时带来了可测量的准确率提升。
• 多任务学习设置增强了模型的泛化能力，使其在所有单个任务上的表现均优于单任务基线模型。
• 在所评估的架构中，EfficientNet和DenseNet变体在多个任务和数据设置下表现更优。
• 本研究建立了实时灾难图像分类的全面基准，明确了最有效的模型和训练策略。