[论文解读] PolyHope: Two-Level Hope Speech Detection from Tweets

Fazlourrahman Balouchzahi, Grigori Sidorov+1 more|arXiv (Cornell University)|Oct 25, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本文介绍了 PolyHope，这是首个针对英文推文的两级希望话语检测数据集，将推文分类为 '希望' 与 '非希望'，并进一步细分为 '普遍化'、'现实性' 和 '不切实际的希望' 三个子类别。通过严格的标注指南和从2022年初收集的多样化推文，作者对多种模型进行了基准测试，发现基于变换器的模型（如 BERT-base-uncased）在二分类任务中达到最高的 F1 得分 0.85，在多分类任务中达到 0.72，优于传统机器学习和深度学习基线模型。

ABSTRACT

Hope is characterized as openness of spirit toward the future, a desire, expectation, and wish for something to happen or to be true that remarkably affects human's state of mind, emotions, behaviors, and decisions. Hope is usually associated with concepts of desired expectations and possibility/probability concerning the future. Despite its importance, hope has rarely been studied as a social media analysis task. This paper presents a hope speech dataset that classifies each tweet first into "Hope" and "Not Hope", then into three fine-grained hope categories: "Generalized Hope", "Realistic Hope", and "Unrealistic Hope" (along with "Not Hope"). English tweets in the first half of 2022 were collected to build this dataset. Furthermore, we describe our annotation process and guidelines in detail and discuss the challenges of classifying hope and the limitations of the existing hope speech detection corpora. In addition, we reported several baselines based on different learning approaches, such as traditional machine learning, deep learning, and transformers, to benchmark our dataset. We evaluated our baselines using weighted-averaged and macro-averaged F1-scores. Observations show that a strict process for annotator selection and detailed annotation guidelines enhanced the dataset's quality. This strict annotation process resulted in promising performance for simple machine learning classifiers with only bi-grams; however, binary and multiclass hope speech detection results reveal that contextual embedding models have higher performance in this dataset.

研究动机与目标

• 为解决自然语言处理中多类别希望话语检测数据集的缺乏，创建社交媒体中希望类型的细粒度分类。
• 通过专家标注员和详细指南的严谨流程，提升希望话语标注的质量与可靠性。
• 为研究人员提供一个基准数据集，以探索希望作为在线话语中的一种心理和语言现象。
• 评估多种机器学习模型（包括传统模型、深度学习模型和基于变换器的方法）在该新颖数据集上的性能表现。
• 为未来在心理健康、公众情绪分析和人类行为建模等研究中，利用社交媒体上的希望相关语言提供支持。

提出的方法

• 该数据集从2022年上半年收集的超过10万个英文推文中构建，关键词涵盖希望、渴望和期望。
• 采用两级标注流程：首先将推文分类为 '希望' 或 '非希望'；其次，将 '希望' 类推文进一步划分为 '普遍化'、'现实性' 或 '不切实际的希望'。
• 采用严格的标注员筛选流程，训练有素的标注员依据详尽的心理学指导原则进行标注，确保一致性，并实现二分类的互评一致性（IAA）达 0.85，多分类达 0.82。
• 最终数据集包含 8,256 条推文：4,175 条标注为 '希望'，4,081 条标注为 '非希望'，其中 '希望' 类推文进一步细分为三个子类别。
• 训练并评估了多种基线模型，包括使用 n-gram 的 TF-IDF、使用 GloVe/FastText 嵌入的 CNN 和 BiLSTM，以及 BERT-base-uncased 等变换器模型。
• 模型评估采用加权和宏平均 F1 得分，并通过词数、字符数、停用词频率和命名实体识别（NER）标签等指标，对误分类样本进行额外分析。

Figure 1: Workflow of annotation procedure

实验结果

研究问题

• RQ1 不同机器学习模型在新型两级希望话语检测任务中的表现如何比较？
• RQ2 采用详细指南的严谨标注流程在多大程度上提升了希望话语数据集的质量与可靠性？
• RQ3 传统机器学习模型能否有效区分社交媒体文本中希望的细粒度类型（如现实性 vs. 不切实际的希望）？
• RQ4 为何某些推文在所有模型中均持续被误分类，它们在语言或结构特征上具有何种共性？
• RQ5 与非上下文嵌入或 n-gram 特征相比，上下文嵌入（如 BERT）在多分类希望检测中的性能提升体现在何处？

主要发现

• PolyHope 数据集实现了高水平的标注一致性，二分类任务的 F1 得分为 0.85，多分类任务为 0.82，表明标注质量优异。
• 仅使用二元语法的传统机器学习模型在二分类希望检测中表现强劲，表明简单特征在粗粒度分类中同样有效。
• 使用上下文嵌入的神经网络模型（如 BiLSTM、CNN）在多分类希望检测中优于传统模型，凸显语义上下文的重要性。
• BERT-base-uncased 变换器模型表现最佳，二分类任务的宏平均 F1 得分为 0.85，多分类任务为 0.72。
• 约 20% 的推文（±5%）在所有模型中均被持续误分类，表明希望表达本身存在固有的模糊性或复杂性，对当前 NLP 模型构成挑战。
• 对误分类推文的分析显示，其与词数、字符数或停用词频率无显著相关性，但在命名实体识别（NER）标签上表现出明显模式，提示实体级特征可能在误分类中起作用。

Figure 2: Word cloud of hope keywords in the dataset