[论文解读] Transfer Learning from LDA to BiLSTM-CNN for Offensive Language Detection in Twitter

Gregor Wiedemann, Eugen Ruppert+2 more|arXiv (Cornell University)|Nov 7, 2018

Hate Speech and Cyberbullying Detection参考文献 14被引用 33

一句话总结

本论文提出一种BiLSTM-CNN模型，用于检测德语Twitter数据中的攻击性语言，通过利用LDA生成的无监督主题聚类进行迁移学习，以提升性能。最佳结果通过结合LDA主题迁移与主题性用户聚类信息实现，显著减少了灾难性遗忘，并将粗粒度任务的F1分数提升至73.67%。

ABSTRACT

We investigate different strategies for automatic offensive language classification on German Twitter data. For this, we employ a sequentially combined BiLSTM-CNN neural network. Based on this model, three transfer learning tasks to improve the classification performance with background knowledge are tested. We compare 1. Supervised category transfer: social media data annotated with near-offensive language categories, 2. Weakly-supervised category transfer: tweets annotated with emojis they contain, 3. Unsupervised category transfer: tweets annotated with topic clusters obtained by Latent Dirichlet Allocation (LDA). Further, we investigate the effect of three different strategies to mitigate negative effects of 'catastrophic forgetting' during transfer learning. Our results indicate that transfer learning in general improves offensive language detection. Best results are achieved from pre-training our model on the unsupervised topic clustering of tweets in combination with thematic user cluster information.

研究动机与目标

• 为解决德语社交媒体内容中缺乏有效的攻击性语言检测系统的问题。
• 探究从辅助任务进行迁移学习是否能提升攻击性语言分类的性能。
• 评估不同迁移学习策略——监督式、弱监督式和无监督式——在德语Twitter数据上的表现。
• 通过分层微调策略缓解迁移学习过程中的灾难性遗忘。
• 探究用户提及聚类对分类性能的影响。

提出的方法

• 采用BiLSTM-CNN神经网络架构，以捕捉推文中的序列特征与局部文本特征。
• 通过在三个辅助任务上进行预训练来应用迁移学习：标注的近攻击性类别、表情符号标注以及由LDA生成的主题聚类。
• 在包含1,000万条推文的背景语料上应用LDA，生成1,000个主题聚类，用于无监督预训练。
• 评估三种缓解灾难性遗忘的策略：分层微调、权重冻结和联合训练。
• 利用用户提及聚类，将频繁被针对用户的主题信息纳入模型，即使对未见过的用户也有效。
• 采用子词嵌入以处理OOV词、拼写错误以及非标准语言（如表情符号）。

实验结果

研究问题

• RQ1 基于LDA生成的主题聚类的迁移学习是否能提升德语Twitter数据中攻击性语言检测的性能？
• RQ2 不同迁移学习策略——监督式、弱监督式和无监督式——如何影响分类性能？
• RQ3 在攻击性语言检测背景下，哪种策略最有效地缓解灾难性遗忘？
• RQ4 用户提及聚类在多大程度上提升了模型的泛化能力，特别是对未见过的用户？
• RQ5 在领域内数据上进行无监督预训练是否能超越监督式或弱监督式方法？

主要发现

• 采用LDA主题聚类的无监督迁移学习方法在粗粒度攻击性语言检测任务中取得了最高的F1分数，达到73.67%。
• 结合主题聚类预训练与主题性用户聚类信息的模型表现最佳，F1分数为73.67%，准确率为53.25%。
• 分层微调策略（自底向上的训练）显著优于其他灾难性遗忘缓解技术，在性能上超过联合训练与权重冻结。
• 模型在粗粒度任务上的准确率为77.5%，高于细粒度四分类任务的73.7%，表明在更广泛的攻击性语言检测任务中具有更好的泛化能力。
• 误报主要源于严厉但非侮辱性的批评或修辞疑问，而误报则常涉及微妙的去人性化语言或间接暗示。
• 结果表明，通过LDA在领域内数据上进行无监督、任务无关的预训练，具有高度有效性与可迁移性，可推广至攻击性语言检测以外的其他NLP任务。