[论文解读] Towards non-toxic landscapes: Automatic toxic comment detection using DNN

Ashwin Geet d'Sa, Irina Illina+1 more|arXiv (Cornell University)|Nov 19, 2019

Hate Speech and Cyberbullying Detection参考文献 24被引用 19

一句话总结

本文提出一种基于深度神经网络（DNN）的端到端方法，通过微调BERT实现自动有毒评论检测，其性能优于基于特征的BERT、fastText以及Mikolov词嵌入方法。该方法在对抗性扰动下表现出良好的鲁棒性，并在英文维基百科Detox数据集上达到当前最优性能，确立了微调BERT作为分类有毒内容最有效方法的地位。

ABSTRACT

The spectacular expansion of the Internet has led to the development of a new research problem in the field of natural language processing: automatic toxic comment detection, since many countries prohibit hate speech in public media. There is no clear and formal definition of hate, offensive, toxic and abusive speeches. In this article, we put all these terms under the umbrella of "toxic" speech. The contribution of this paper is the design of binary classification and regression-based approaches aiming to predict whether a comment is toxic or not. We compare different unsupervised word representations and different DNN based classifiers. Moreover, we study the robustness of the proposed approaches to adversarial attacks by adding one (healthy or toxic) word. We evaluate the proposed methodology on the English Wikipedia Detox corpus. Our experiments show that using BERT fine-tuning outperforms feature-based BERT, Mikolov's and fastText representations with different DNN classifiers.

研究动机与目标

• 开发一种在在线话语中对有毒评论进行鲁棒且准确分类的方法。
• 比较不同词表示方法（如BERT、fastText、Mikolov）在有毒评论检测中的有效性。
• 评估DNN模型在面对对抗性词语扰动（有毒或无害）时的鲁棒性。
• 基于真实网络文本，利用深度学习建立有毒语言检测的强基准。

提出的方法

• 作者采用二分类和基于回归的DNN模型，预测评论的毒性。
• 比较多种无监督词表示方法：微调后的BERT（含微调与特征提取两种方式）、fastText以及Mikolov的skip-gram模型。
• 所有模型均在英文维基百科Detox数据集上进行训练与评估，该数据集是有毒评论检测的标准基准。
• 通过在评论中插入一个词语（有毒或无害）来测试对抗性鲁棒性，并测量模型性能的变化。
• 以微调后的BERT作为主要模型，利用上下文嵌入提升语义理解能力。
• 采用标准自然语言处理评估指标（如AUC-ROC与F1-score）对比各模型性能。

实验结果

研究问题

• RQ1 微调后的BERT是否在有毒评论检测中优于其他词表示方法？
• RQ2 在使用不同预训练嵌入时，各类DNN架构的表现如何？
• RQ3 DNN模型在评论中受到对抗性词语插入时的鲁棒性达到何种程度？
• RQ4 是否能够通过统一框架有效分类多种形式的有毒语言，包括仇恨言论与冒犯性内容？

主要发现

• 微调后的BERT在所有测试模型中表现最佳，显著优于基于特征的BERT、fastText以及Mikolov词嵌入。
• 当插入单个词语时，模型仍保持高度鲁棒性，表明其对轻微对抗性扰动具有较强抵抗能力。
• 基于特征的BERT表现良好，但相比微调后的BERT仍显不足，凸显了在下游任务上进行微调的优势。
• fastText与Mikolov词嵌入性能较低，尤其在捕捉细微有毒语言方面表现欠佳。
• 基于回归的方法与二分类方法表现相当，表明任务设计具有较高灵活性。