[论文解读] Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content

Liam Hebert, Hong Yi Chen+2 more|arXiv (Cornell University)|Jan 25, 2023

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出了一种基于图注意力网络的模型，通过分析完整的讨论线程而非孤立的评论来预测仇恨言论，利用上下文、序列性和多模态（文本、图像、文章）信息。与仅分析评论的模型相比，该方法在动态、依赖上下文的仇恨言论场景中显著减少了误报和漏报，尤其在重新定义的辱骂性用语或多模态内容情境下表现更优。

ABSTRACT

Our work advances an approach for predicting hate speech in social media, drawing out the critical need to consider the discussions that follow a post to successfully detect when hateful discourse may arise. Using graph transformer networks, coupled with modelling attention and BERT-level natural language processing, our approach can capture context and anticipate upcoming anti-social behaviour. In this paper, we offer a detailed qualitative analysis of this solution for hate speech detection in social networks, leading to insights into where the method has the most impressive outcomes in comparison with competitors and identifying scenarios where there are challenges to achieving ideal performance. Included is an exploration of the kinds of posts that permeate social media today, including the use of hateful images. This suggests avenues for extending our model to be more comprehensive. A key insight is that the focus on reasoning about the concept of context positions us well to be able to support multi-modal analysis of online posts. We conclude with a reflection on how the problem we are addressing relates especially well to the theme of dynamic change, a critical concern for all AI solutions for social impact. We also comment briefly on how mental health well-being can be advanced with our work, through curated content attuned to the extent of hate in posts.

研究动机与目标

• 解决仅基于评论的仇恨言论检测模型因未考虑动态演变的对话上下文而存在的局限性。
• 开发一种主动的仇恨言论检测系统，通过基于图的推理提前预测仇恨言论的出现，而无需其被明确发布。
• 将多模态内容（如图像和外部文章）整合到仇恨言论检测中，以提升上下文理解的准确性。
• 通过动态、上下文感知的仇恨强度评分，支持心理健康，实现用户自主的内容审核。
• 证明基于图的讨论结构建模在仇恨言论预测上比孤立评论分析更具准确性和公平性。

提出的方法

• 该模型使用 Graphormer（一种图注意力网络架构），将讨论线程的结构编码为图结构，其中节点代表评论，边代表回复关系。
• 引入基于 BERT 的上下文嵌入表示文本，并扩展模型以支持多模态特征，如图像嵌入和文章内容。
• 系统采用顺序的、逐层深度的预测方式，仅依赖先前的上下文信息预测评论标签，模拟真实部署环境。
• 图注意力网络中的注意力机制使模型能够评估先前评论和结构关系的重要性，从而预测未来的仇恨言论。
• 模型在 Reddit 讨论数据上进行微调，以在 0–4 的有序等级上预测仇恨言论，反映仇恨强度的递增。
• 将用户级信息和社区级动态编码进图结构中，以增强上下文敏感性。

Figure 1: Graphormer Architecture

实验结果

研究问题

• RQ1 与孤立评论分析相比，建模完整讨论线程在多大程度上提升了仇恨言论检测的性能？
• RQ2 图像和文章等多模态元素在多大程度上影响了仇恨言论分类的准确性？
• RQ3 图注意力网络模型是否能够提前预测仇恨言论的出现，而无需其被明确表达？
• RQ4 重新定义的辱骂性用语和依赖上下文的语言如何影响仅分析评论的模型与图模型之间的性能差异？
• RQ5 动态、上下文感知的仇恨强度评分在多大程度上可支持心理健康并促进用户自我调节？

主要发现

• 基于图的模型显著降低了因重新定义的辱骂性用语（如LGBTQ语境中的用语）导致的误报，这些用语曾被仅分析评论的模型错误识别为仇恨言论。
• 将图像和文章作为输入的一部分，显著提升了上下文理解能力，尤其在仅靠文本难以判断或存在误导性时表现更优。
• 该模型成功在仇恨言论尚未公开表达前预测其在讨论中的升级趋势，展现出主动检测能力。
• 在情绪激烈但实际仇恨程度较低的讨论中，图模型的仇恨预测值低于仅分析评论的模型，有效减少了过度监管。
• 在依赖图像-文本组合的语境中，该系统在检测上下文相关仇恨内容方面优于仅依赖文本的模型。
• 有序的仇恨强度等级支持个性化内容过滤，通过让用户自主选择暴露于争议性内容的程度，从而支持心理健康。

Figure 2: Photo of the Drag Queen discussed in Table 3