[论文解读] Panning for gold: Lessons learned from the platform-agnostic automated detection of political content in textual data

Mykola Makhortykh, Ernesto de León+6 more|arXiv (Cornell University)|Jul 1, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文使用基于词典、监督机器学习和神经网络的方法，在多种在线平台中评估了平台无关的政治内容检测方法。结果表明，在干净数据上，神经网络和机器学习模型表现优于词典方法；而在噪声数据中，词典方法更具鲁棒性，且对分词、停用词去除等预处理技术的影响极小。

ABSTRACT

The growing availability of data about online information behaviour enables new possibilities for political communication research. However, the volume and variety of these data makes them difficult to analyse and prompts the need for developing automated content approaches relying on a broad range of natural language processing techniques (e.g. machine learning- or neural network-based ones). In this paper, we discuss how these techniques can be used to detect political content across different platforms. Using three validation datasets, which include a variety of political and non-political textual documents from online platforms, we systematically compare the performance of three groups of detection techniques relying on dictionaries, supervised machine learning, or neural networks. We also examine the impact of different modes of data preprocessing (e.g. stemming and stopword removal) on the low-cost implementations of these techniques using a large set (n = 66) of detection models. Our results show the limited impact of preprocessing on model performance, with the best results for less noisy data being achieved by neural network- and machine-learning-based models, in contrast to the more robust performance of dictionary-based models on noisy data.

研究动机与目标

• 开发并评估用于检测在线文本数据中政治内容的自动化、平台无关方法。
• 评估三种检测技术——基于词典、监督机器学习和神经网络——在不同在线平台上的表现。
• 考察数据预处理（如分词、停用词去除）对模型准确率和鲁棒性的影响。
• 识别在不同数据质量条件下（尤其是噪声文本与干净文本）哪种方法表现最佳。
• 为研究人员在政治传播研究中选择和调优检测模型提供实际指导。

提出的方法

• 本研究采用三类检测技术：基于规则的词典匹配、监督机器学习（如逻辑回归、随机森林）和深度学习模型（如基于BERT的分类器）。
• 共训练并评估了66个检测模型，使用包含来自不同在线平台的政治与非政治内容的三个验证数据集。
• 系统性地改变数据预处理方式，包括分词、停用词去除和词形还原的组合，以评估其对模型性能的影响。
• 使用标准NLP指标（如F1值、精确率和召回率）在保留的测试集上评估模型。
• 通过平台特定和跨平台评估设置，比较不同数据质量水平（干净与噪声文本）下模型的性能。
• 采用平台无关的评估框架，以确保结果在社交媒体和新闻平台之间具有泛化能力。

实验结果

研究问题

• RQ1 在不同在线平台上，基于词典、机器学习和神经网络的模型在检测政治内容方面表现如何比较？
• RQ2 常见文本预处理技术（如分词、停用词去除）对政治内容检测模型性能有何影响？
• RQ3 在噪声文本中，哪种模型类型表现最佳？在干净文本中，哪种模型表现最优？
• RQ4 检测模型在具有不同语言风格和内容类型的多样化在线平台间具有多大程度的可迁移性？
• RQ5 数据质量（噪声水平）在多大程度上调节了不同检测技术的有效性？

主要发现

• 神经网络和机器学习模型在干净数据上表现最佳，最优配置下F1值超过0.85。
• 基于词典的模型对噪声数据表现出更强的鲁棒性，在文本质量较低时仍能保持稳定性能。
• 分词和停用词去除等预处理技术对所有模型类型的性能影响均较小。
• 跨平台评估显示，当模型应用于与训练数据不同的平台时性能下降，凸显领域偏移的挑战。
• 表现最佳的模型通常是微调后的BERT-based架构，在干净、平台特定的数据上优于传统机器学习模型。
• 不存在一种通用的预处理流程能普遍提升检测性能，表明预处理应根据数据特征量身定制。