[论文解读] Robust Training of Social Media Image Classification Models for Rapid Disaster Response

Firoj Alam, Md Tanvirul Alam+2 more|arXiv (Cornell University)|Apr 9, 2021

Public Relations and Crisis Communication参考文献 76被引用 5

一句话总结

本文提出了一种稳健的多任务深度学习框架，用于灾难响应中的实时社交媒体图像分类，利用预训练模型、数据增强、半监督学习以及在整合基准数据集上的多任务训练。该方法在性能上达到当前最先进水平，加权F1分数分别为0.835（灾难类型）、0.876（信息性）、0.784（人道主义）和0.765（损毁严重程度），证明了数据整合与先进训练策略在危机计算应用中的有效性。

ABSTRACT

Images shared on social media help crisis managers gain situational awareness and assess incurred damages, among other response tasks. As the volume and velocity of such content are typically high, real-time image classification has become an urgent need for a faster disaster response. Recent advances in computer vision and deep neural networks have enabled the development of models for real-time image classification for a number of tasks, including detecting crisis incidents, filtering irrelevant images, classifying images into specific humanitarian categories, and assessing the severity of the damage. To develop robust real-time models, it is necessary to understand the capability of the publicly available pre-trained models for these tasks, which remains to be under-explored in the crisis informatics literature. In this study, we address such limitations by investigating ten different network architectures for four different tasks using the largest publicly available datasets for these tasks. We also explore various data augmentation strategies, semi-supervised techniques, and a multitask learning setup. In our extensive experiments, we achieve promising results.

研究动机与目标

• 为解决危机计算中针对灾难相关图像分类任务的预训练模型缺乏全面评估的问题。
• 探究数据整合、模型架构选择、数据增强、半监督学习以及多任务训练对多个灾难图像分类任务性能的影响。
• 为实时分类社交媒体图像提供一种稳健且可扩展的解决方案，以支持情境感知、事件检测和灾难期间的人道主义决策。
• 通过将现有数据集整合并重新评估为统一的、无重叠的训练、开发和测试划分，为未来研究建立基准。

提出的方法

• 本研究使用危机基准数据集，评估了十种预训练深度神经网络架构（如ResNet、DenseNet、EfficientNet）在四个灾难图像分类任务上的表现。
• 应用数据整合策略，将多个公开数据集合并为单一的、无重叠的训练、验证和测试划分，以提升模型泛化能力。
• 应用多种数据增强策略（如随机裁剪、颜色抖动、mixup）以增强模型鲁棒性与泛化能力。
• 探索结合有标签和无标签数据的半监督学习技术，以在标注数据有限的情况下提升性能。
• 实施多任务学习设置，通过共享主干网络和任务特定头，联合训练多个任务（灾难类型、信息性、人道主义、损毁严重程度），以降低计算成本。
• 可视化类激活图，以解释模型决策并验证所学特征对特定类别的相关性。

实验结果

研究问题

• RQ1 RQ1：数据整合是否能提升灾难相关图像分类任务的性能？
• RQ2 RQ2：在不同下游灾难图像分类任务中，哪种预训练神经网络架构表现最佳？
• RQ3 RQ3：数据增强和半监督学习是否能提升模型的泛化能力和性能？
• RQ4 RQ4：多任务学习是否能在保持或提升多任务性能的同时降低计算复杂度？

主要发现

• 数据整合显著提升了模型性能，在所有四个任务中，整合后的单任务数据集上取得了最佳结果。
• EfficientNet-B4架构在灾难类型、信息性、人道主义和损毁严重程度任务上分别取得了最高的加权F1分数，分别为0.835、0.876、0.784和0.765。
• 数据增强策略，尤其是mixup和随机裁剪，显著提升了所有任务的泛化能力与F1分数。
• 半监督学习技术在有限标注数据条件下表现出提升性能的潜力，表明可有效利用大规模无标注社交媒体图像。
• 多任务学习通过共享特征提取降低了计算复杂度，同时保持了具有竞争力的性能，表明其在实时部署中的可行性。
• 类激活图显示，模型能够聚焦于与灾难相关的区域（如倒塌的建筑、碎屑），验证了所学特征的可解释性与任务相关性。