[论文解读] The Enemy Among Us: Detecting Hate Speech with Threats Based 'Othering' Language Embeddings

Wafa Alorainy, Pete Burnap+2 more|arXiv (Cornell University)|Jan 23, 2018

Hate Speech and Cyberbullying Detection参考文献 49被引用 6

一句话总结

本文提出了一种新颖的NLP框架，通过建模'排斥性'语言（如代词对we/them、动词+代词模式send them）来检测细微的仇恨言论，采用Doc2Vec生成上下文化的段落嵌入。该方法在F-measure上分别达到0.93（宗教）、0.86（残障）、0.97（种族）和0.98（性取向），显著优于当前最先进模型，能够捕捉超越显性仇恨词汇的细微威胁型叙事。

ABSTRACT

Offensive or antagonistic language targeted at individuals and social groups based on their personal characteristics (also known as cyber hate speech or cyberhate) has been frequently posted and widely circulated viathe World Wide Web. This can be considered as a key risk factor for individual and societal tension linked toregional instability. Automated Web-based cyberhate detection is important for observing and understandingcommunity and regional societal tension - especially in online social networks where posts can be rapidlyand widely viewed and disseminated. While previous work has involved using lexicons, bags-of-words orprobabilistic language parsing approaches, they often suffer from a similar issue which is that cyberhate can besubtle and indirect - thus depending on the occurrence of individual words or phrases can lead to a significantnumber of false negatives, providing inaccurate representation of the trends in cyberhate. This problemmotivated us to challenge thinking around the representation of subtle language use, such as references toperceived threats from "the other" including immigration or job prosperity in a hateful context. We propose anovel framework that utilises language use around the concept of "othering" and intergroup threat theory toidentify these subtleties and we implement a novel classification method using embedding learning to computesemantic distances between parts of speech considered to be part of an "othering" narrative. To validate ourapproach we conduct several experiments on different types of cyberhate, namely religion, disability, race andsexual orientation, with F-measure scores for classifying hateful instances obtained through applying ourmodel of 0.93, 0.86, 0.97 and 0.98 respectively, providing a significant improvement in classifier accuracy overthe state-of-the-art

研究动机与目标

• 解决现有仇恨言论检测方法依赖显性仇恨词汇、难以捕捉间接、细微仇恨表达的局限性。
• 通过建模'排斥性'语言特征（将'我们'与'他们'区分开来）作为语境语义层，提升分类准确率。
• 开发一种新型双面代词及动词+代词模式词典，用以标识感知到的群体间威胁。
• 在多种网络仇恨类型（宗教、残障、种族、性取向）中验证该方法的有效性。
• 证明基于嵌入的语义相似性学习在这些'排斥性'特征上的应用，可使分类器性能超越词袋或n-gram特征。

提出的方法

• 该方法构建了一个自定义的'排斥性词典'，包含双面代词（如we/them, us/them）和动词+代词模式（如send them, protect us），用以标识内群体与外群体的划分。
• 应用Doc2Vec算法学习段落级嵌入，以编码'排斥性'特征与上下文文本之间的语义相似性。
• 模型学习向量表示，使得包含'排斥性'叙事的仇恨文本即使缺乏显性仇恨词汇，也在嵌入空间中聚类得更紧密。
• 该方法将群体间威胁理论与'排斥性'理论相结合，使语言特征建立在心理学和社会学理论框架之上。
• 利用学习到的嵌入空间中的语义距离，若新文本表现出对'他者'的感知威胁模式，则将其分类为网络仇恨。
• 该框架在针对宗教、残障、种族和性取向的四个网络仇恨数据集上进行训练与评估，以F-measure为主要指标。

实验结果

研究问题

• RQ1 通过建模'排斥性'语言特征而非依赖显性仇恨词汇，机器学习模型能否更有效地检测仇恨言论？
• RQ2 将群体间威胁理论融入语言特征工程，能否提升对细微、间接仇恨言论的检测能力？
• RQ3 与传统的词袋或n-gram方法相比，基于嵌入的'排斥性'特征表示在多大程度上提升了分类器性能？
• RQ4 所提出的方法是否能在不同类型的网络仇恨（包括宗教、残障、种族和性取向）上实现泛化？
• RQ5 模型能否通过学习上下文中的语义相似性，同时捕捉明显和隐蔽的仇恨言论，即使单个词汇并不具有攻击性？

主要发现

• 该方法在宗教数据集上达到0.93的F-measure，较最佳基线模型提升8%。
• 在与残障相关的仇恨言论检测中，模型F-measure达到0.86，较最强基线提升11%。
• 在针对种族的仇恨言论检测中，模型F-measure达到0.97，较先前最先进方法提升11%。
• 在性取向相关仇恨言论中，模型取得最高的F-measure 0.98，优于所有基线模型。
• 定性分析证实，模型成功地在语义空间中聚类内群体/外群体术语、威胁相关词汇（如'invasion', 'confusion'）以及动作动词（如'send', 'hang'），表明其有效捕捉了叙事结构。
• 该模型通过检测如'send them home'等细微仇恨言论（缺乏显性仇恨词汇但传达排斥意图）展现出优越性能，从而显著降低假阴性。