[论文解读] Transformer-based Multi-task Learning for Disaster Tweet Categorisation

Wang Cong-cong, Paul Nulty+1 more|arXiv (Cornell University)|Oct 15, 2021

Public Relations and Crisis Communication参考文献 35被引用 6

一句话总结

本文提出了一种基于Transformer的多任务学习框架，用于将灾难相关推文分类为不同信息类型并估计其优先级。通过联合使用多种基于BERT的编码器对分类和优先级任务进行训练，该方法在TREC Incident Streams基准上实现了最先进性能，且通过模型集成显著提升表现。

ABSTRACT

Social media has enabled people to circulate information in a timely fashion, thus motivating people to post messages seeking help during crisis situations. These messages can contribute to the situational awareness of emergency responders, who have a need for them to be categorised according to information types (i.e. the type of aid services the messages are requesting). We introduce a transformer-based multi-task learning (MTL) technique for classifying information types and estimating the priority of these messages. We evaluate the effectiveness of our approach with a variety of metrics by submitting runs to the TREC Incident Streams (IS) track: a research initiative specifically designed for disaster tweet classification and prioritisation. The results demonstrate that our approach achieves competitive performance in most metrics as compared to other participating runs. Subsequently, we find that an ensemble approach combining disparate transformer encoders within our approach helps to improve the overall effectiveness to a significant extent, achieving state-of-the-art performance in almost every metric. We make the code publicly available so that our work can be reproduced and used as a baseline for the community for future work in this domain.

研究动机与目标

• 为解决将灾难相关推文分类为不同信息类型（如所需援助、损毁报告等）以支持应急响应的挑战。
• 通过估计灾难消息的紧急程度或优先级，提升情境感知能力。
• 开发一种多任务学习框架，联合优化基于Transformer架构的信息类型分类与优先级估计。
• 在TREC Incident Streams基准上评估模型性能，该基准是灾难NLP研究的标准化测试集。
• 为未来危机计算研究提供公开可用、可复现的基线。

提出的方法

• 该模型采用多任务学习设置，其中共享的Transformer编码器处理输入推文，用于两个下游任务：信息类型分类和消息优先级估计。
• 使用多个预训练的Transformer编码器（如BERT、RoBERTa）作为特征提取器，并为分类任务添加特定任务头，为优先级评分任务添加回归头。
• 使用联合损失函数在TREC Incident Streams数据集上端到端微调模型，该损失函数结合了分类任务的交叉熵损失和优先级预测任务的均方误差损失。
• 采用集成策略，结合不同Transformer编码器的预测结果，以提升模型鲁棒性与性能。
• 使用标准NLP指标（如F1值、精确率、召回率和平均精度均值（MAP））对最终模型进行评估。
• 公开发布代码与模型，以支持可复现性与社区基准测试。

实验结果

研究问题

• RQ1 基于共享Transformer表示的多任务学习方法是否能提升灾难推文的联合分类与优先级估计性能？
• RQ2 预训练Transformer编码器的选择如何影响灾难推文分类与优先级估计的性能？
• RQ3 在该多任务设置中，集成多个Transformer编码器在多大程度上能增强模型的有效性？
• RQ4 与现有系统相比，所提出方法是否在TREC Incident Streams基准上实现了最先进性能？
• RQ5 该模型能否作为未来危机NLP研究中可靠且公开可用的基线？

主要发现

• 所提出的多任务学习框架在TREC Incident Streams基准的大多数评估指标上均表现出具有竞争力的性能。
• 集成多个Transformer编码器显著提升了性能，在几乎所有指标上均达到最先进水平，包括F1值与平均精度均值（MAP）。
• 分类与优先级估计任务的联合训练相比单任务基线模型具有更好的泛化能力。
• 在宏平均F1与MAP等关键指标上，该模型优于其他参赛系统，展现出强鲁棒性与有效性。
• 公开发布代码与模型支持可复现性，并为灾难相关NLP的未来研究建立了强有力的基线。
• 结果证实，使用多样化预训练编码器的多任务学习是危机计算应用中一种有前景的方法。