[论文解读] Offensive Language Analysis using Deep Learning Architecture

Ryan Ong|arXiv (Cornell University)|Mar 12, 2019

Hate Speech and Cyberbullying Detection参考文献 4被引用 5

一句话总结

本文提出了一种用于社交媒体中攻击性语言检测的BiLSTM-CNN深度学习架构，在SemEval-2019任务6中优于其他CNN-RNN配置。作者发现，将RNN层置于CNN层之前能显著提升宏平均F1分数，而CNN层带来的增益有限，通常因序列信息损失而导致性能下降；最佳模型在子任务A上达到0.75的宏平均F1，在子任务B上为0.65，在子任务C上为0.46。

ABSTRACT

SemEval-2019 Task 6 (Zampieri et al., 2019b) requires us to identify and categorise offensive language in social media. In this paper we will describe the process we took to tackle this challenge. Our process is heavily inspired by Sosa (2017) where he proposed CNN-LSTM and LSTM-CNN models to conduct twitter sentiment analysis. We decided to follow his approach as well as further his work by testing out different variations of RNN models with CNN. Specifically, we have divided the challenge into two parts: data processing and sampling and choosing the optimal deep learning architecture. In preprocessing, we experimented with two techniques, SMOTE and Class Weights to counter the imbalance between classes. Once we are happy with the quality of our input data, we proceed to choosing the optimal deep learning architecture for this task. Given the quality and quantity of data we have been given, we found that the addition of CNN layer provides very little to no additional improvement to our model's performance and sometimes even lead to a decrease in our F1-score. In the end, the deep learning architecture that gives us the highest macro F1-score is a simple BiLSTM-CNN.

研究动机与目标

• 使用深度学习识别并分类社交媒体文本中的攻击性语言。
• 通过SMOTE和类别权重处理攻击性语言数据集中的类别不平衡问题。
• 确定用于攻击性语言检测的最优深度学习架构，重点关注RNN-CNN层的顺序及各组件的有效性。
• 评估预训练词嵌入与超参数调优对模型性能的影响。

提出的方法

• 采用包含词嵌入、空间dropout和全连接层的BiLSTM-CNN架构进行分类。
• 应用多阶段预处理流程：移除URL、@USER标记、展开缩写词，并处理特殊字符。
• 实验了三种预训练词嵌入：GloVe Twitter（100d，200d）和GloVe Common Crawl（300d）。
• 由于类别不平衡，主要采用宏平均F1分数作为评估指标。
• 使用5折交叉验证，基于验证集的宏平均F1分数进行早停，并保留20%作为测试集。
• 通过人工方式进行超参数调优，调整训练轮数、空间dropout率和嵌入类型。

实验结果

研究问题

• RQ1 RNN与CNN层的顺序是否显著影响攻击性语言分类性能？
• RQ2 添加CNN层是否能提升攻击性语言检测性能，还是因其导致序列信息丢失而造成性能下降？
• RQ3 SMOTE和类别权重在子任务A、B和C中缓解类别不平衡问题方面效果如何？
• RQ4 如何组合预训练词嵌入与超参数以最大化宏平均F1分数？

主要发现

• BiLSTM-CNN架构在所有子任务中均取得了最高的宏平均F1分数，优于所有其他模型变体。
• 将层顺序设为BiLSTM后接CNN时，性能显著优于CNN后接BiLSTM，F1分数提升达0.07–0.09。
• 添加CNN层带来的增益极小甚至无益，有时反而导致性能下降，可能是因为文本序列上下文信息的损失。
• 最优训练轮数为5轮，因为超过此轮数后性能趋于平稳或下降。
• 20%的空间dropout率表现最优，但完全移除dropout对性能影响甚微，表明当前架构的过拟合程度较低。
• 预训练词嵌入（尤其是300d的GloVe Common Crawl）相比随机或无嵌入能提升性能，尽管与BiGRU-CNN结合时结果略有差异。