[论文解读] VAIS Hate Speech Detection System: A Deep Learning based Approach for System Combination

Thai Binh Nguyen, Quang Minh Nguyen+4 more|arXiv (Cornell University)|Oct 12, 2019

Hate Speech and Cyberbullying Detection参考文献 12被引用 8

一句话总结

本论文提出了一种基于深度学习的集成系统VAIS，用于检测越南语社交媒体中的仇恨言论，通过堆叠集成方法结合多种文本表示（CBOW、fastText、sonvx、RoBERTa）和模型（TextCNN、LSTM-CNN、VDCNN、SARNN）以提升分类性能。该系统在VLSP 2019的公开排行榜上取得了0.730的F1宏得分，在私有排行榜上取得了0.584的得分。

ABSTRACT

Nowadays, Social network sites (SNSs) such as Facebook, Twitter are common places where people show their opinions, sentiments and share information with others. However, some people use SNSs to post abuse and harassment threats in order to prevent other SNSs users from expressing themselves as well as seeking different opinions. To deal with this problem, SNSs have to use a lot of resources including people to clean the aforementioned content. In this paper, we propose a supervised learning model based on the ensemble method to solve the problem of detecting hate content on SNSs in order to make conversations on SNSs more effective. Our proposed model got the first place for public dashboard with 0.730 F1 macro-score and the third place with 0.584 F1 macro-score for private dashboard at the sixth international workshop on Vietnamese Language and Speech Processing 2019.

研究动机与目标

• 为解决在越南语社交媒体平台中检测仇恨言论和攻击性内容的挑战。
• 提升在越南语文本中多类别仇恨言论检测任务（仇恨、攻击性、正常）上的分类性能。
• 克服越南语社交媒体文本中数据不平衡和语言多样性（如青少年用语、拼写错误、表情符号）的问题。
• 开发一种稳健的、基于集成的模型，结合多样化的文本表示和深度学习架构以提升泛化能力。
• 在VLSP 2019越南语仇恨言论检测共享任务中实现最先进性能。

提出的方法

• 通过标准化编码、规范化变音符号，并应用多种分词策略（空格分词、BPE分词和形态学分词）对原始越南语文本进行预处理。
• 使用CBOW、fastText、sonvx和RoBERTa嵌入生成多种文本表示，嵌入大小和训练策略各不相同。
• 在组合表示上训练多种深度学习模型，包括TextCNN、LSTM-CNN、VDCNN和SARNN，以生成多样化的预测结果。
• 采用堆叠集成方法，将基模型的概率输出作为元学习器（一个具有128个单元隐藏层的全连接神经网络）的输入特征。
• 在训练过程中应用类别加权损失函数，各类别权重分别为（0.09、0.95、0.96），以缓解数据不平衡问题。
• 在90/10的训练/验证集划分上优化模型，基于F1宏得分选择表现最佳的模型后再进行集成堆叠。

实验结果

研究问题

• RQ1 多样化的深度学习模型与文本表示的集成在检测越南语社交媒体中的多类别仇恨言论方面有多有效？
• RQ2 预训练和自训练的词向量与句子嵌入在低资源越南语文本上的分类性能提升方面能发挥多大作用？
• RQ3 数据不平衡在多大程度上影响模型性能？类别加权是否能缓解对多数类（正常）的过拟合？
• RQ4 为何模型在公开排行榜表现良好，但在私有排行榜上性能显著下降？
• RQ5 哪些语言模式（如特定词汇'vl'）导致系统性误分类？如何加以缓解？

主要发现

• VAIS系统在VLSP 2019共享任务的公开排行榜上取得了0.73019的F1宏得分，在私有排行榜上取得了0.58455的得分。
• 模型在公开测试集上表现强劲（开发集F1宏得分为0.7356），但在公开测试集上存在严重过拟合，导致在私有测试集上性能急剧下降。
• 大量误分类样本（攻击性类别中占62%，仇恨类别中占48%）是由于对词汇'vl'的过拟合所致，该词在正常类别中极为频繁。
• 系统性能受到数据不平衡的严重影响，类别加权（0.09、0.95、0.96）对于防止模型仅预测'正常'类至关重要。
• 集成方法提升了模型鲁棒性，但模型在区分攻击性与仇恨言论方面仍表现不佳，即使在人工标注下也是如此。
• 堆叠集成方法有效结合了多样化模型的预测结果，但最终性能受限于过拟合以及训练数据中的语言特异性现象。