[论文解读] Natural Hazards Twitter Dataset

Lingyu Meng, Zhijie Dong|arXiv (Cornell University)|Apr 29, 2020

Public Relations and Crisis Communication被引用 9

一句话总结

本文介绍了一个公开可用的、带有情感标签的Twitter数据集，包含约49,800条与美国主要自然灾害（2011–2019年）相关的推文，涵盖龙卷风、飓风、洪水、暴风雪和野火等类型。该研究提出了用于情感分类的机器学习模型，并分析了公众对灾害应对措施及基本救援需求的态度，为通过自动化意见挖掘改进人道主义响应提供了资源。

ABSTRACT

With the development of the Internet, social media has become an important channel for posting disaster-related information. Analyzing attitudes hidden in these texts, known as sentiment analysis, is crucial for the government or relief agencies to improve disaster response efficiency, but it has not received sufficient attention. This paper aims to fill this gap by focusing on investigating attitudes towards disaster response and analyzing targeted relief supplies during disaster response. The contributions of this paper are fourfold. First, we propose several machine learning models for classifying public sentiment concerning disaster-related social media data. Second, we create a natural disaster dataset with sentiment labels, which contains nearly 50,00 Twitter data about different natural disasters in the United States (e.g., a tornado in 2011, a hurricane named Sandy in 2012, a series of floods in 2013, a hurricane named Matthew in 2016, a blizzard in 2016, a hurricane named Harvey in 2017, a hurricane named Michael in 2018, a series of wildfires in 2018, and a hurricane named Dorian in 2019). We are making our dataset available to the research community: https://github.com/Dong-UTIL/Natural-Hazards-Twitter-Dataset. It is our hope that our contribution will enable the study of sentiment analysis in disaster response. Third, we focus on extracting public attitudes and analyzing the essential needs (e.g., food, housing, transportation, and medical supplies) for the public during disaster response, instead of merely targeting on studying positive or negative attitudes of the public to natural disasters. Fourth, we conduct this research from two different dimensions for a comprehensive understanding of public opinion on disaster response, since disparate hazards caused by different types of natural disasters.

研究动机与目标

• 解决自然语言处理研究中缺乏带有情感标签的灾害相关社交媒体数据的问题。
• 开发用于分类灾害相关Twitter内容中公众情感的机器学习模型。
• 分析公众对灾害应对措施的态度，并识别基本救援需求（例如食物、医疗物资、住房）。
• 通过比较不同灾害类型及相同灾害（如多次飓风）之间的差异，提供公众意见的多维理解。
• 通过自动化情感与需求检测，支持人道主义组织实现有针对性的援助。

提出的方法

• 使用TwitterScraper和BeautifulSoup4收集推文，通过与灾害和救援需求相关的关键词进行过滤（例如‘hurricane’+‘food’或‘shelters’）。
• 将数据收集时间窗口扩展至每次灾害发生前和后各一周，以捕捉灾前和灾后公众情感。
• 专注于英文推文，以确保数据的一致性与自然语言处理模型的可用性。
• 分配二元情感标签：0表示正面情感（例如对援助的感激），1表示负面情感（例如对响应延迟的沮丧）。
• 构建了一个涵盖9年中10起不同灾害事件的数据集，包括五场飓风及其他五类灾害。
• 通过GitHub以符合Twitter条款与条件的许可证发布该数据集，供公众研究使用。

实验结果

研究问题

• RQ1 机器学习模型如何有效分类灾害相关Twitter内容中的公众情感？
• RQ2 在不同类型的自然灾害中，公众最常表达的需求是什么（例如食物、医疗物资）？
• RQ3 公众对灾害应对的态度在不同灾害类型和事件之间有何差异？
• RQ4 社交媒体情感分析在多大程度上能够提升人道主义援助的精准投放？
• RQ5 一个统一的、带有情感与需求相关标签的灾害数据集，能否支持跨事件与跨灾害类型的分析？

主要发现

• 该数据集包含2011至2019年间从10起美国主要自然灾害中收集的49,816条英文推文，涵盖五场飓风及其他五类灾害。
• 数据集包含带有情感标签的样本，显示了正面情感（例如对援助的感激）和负面情感（例如对撤离延迟的沮丧）。
• 公众情感在不同灾害类型间存在显著差异，持续时间较长的灾害（如飓风和洪水）中观察到更高的负面情感。
• 食物、住房、交通和医疗物资等救援需求频繁被提及，表明公众对后勤支持有强烈需求。
• 该数据集支持跨灾害事件的情感趋势比较分析，揭示了公众在应对阶段的满意度与沮丧情绪的模式。
• 该数据集可在 https://github.com/Dong-UTIL/Natural-Hazards-Twitter-Dataset 公开获取，支持灾害自然语言处理与人道主义信息学领域的可复现研究。