[论文解读] Understanding and Detecting Hateful Content using Contrastive Learning

Felipe González-Pizarro, Savvas Zannettou|arXiv (Cornell University)|Jan 21, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出使用 OpenAI 的 CLIP 模型——一种基于对比学习的多模态模型——来检测 4chan 的 /pol/ 板上文本和图像中的反犹太主义与反穆斯林主义内容。通过利用 Google 的 Perspective API 和人工标注，识别出 420 个仇恨言论短语，该方法检测到 21,000 张可能具有仇恨性质的图像以及 246,000 篇包含仇恨言论短语的帖子，F1 得分为 0.54，且在检测仇恨图像方面优于两个基线模型。

ABSTRACT

The spread of hate speech and hateful imagery on the Web is a significant problem that needs to be mitigated to improve our Web experience. This work contributes to research efforts to detect and understand hateful content on the Web by undertaking a multimodal analysis of Antisemitism and Islamophobia on 4chan's /pol/ using OpenAI's CLIP. This large pre-trained model uses the Contrastive Learning paradigm. We devise a methodology to identify a set of Antisemitic and Islamophobic hateful textual phrases using Google's Perspective API and manual annotations. Then, we use OpenAI's CLIP to identify images that are highly similar to our Antisemitic/Islamophobic textual phrases. By running our methodology on a dataset that includes 66M posts and 5.8M images shared on 4chan's /pol/ for 18 months, we detect 173K posts containing 21K Antisemitic/Islamophobic images and 246K posts that include 420 hateful phrases. Among other things, we find that we can use OpenAI's CLIP model to detect hateful content with an accuracy score of 0.81 (F1 score = 0.54). By comparing CLIP with two baselines proposed by the literature, we find that CLIP outperforms them, in terms of accuracy, precision, and F1 score, in detecting Antisemitic/Islamophobic images. Also, we find that Antisemitic/Islamophobic imagery is shared in a similar number of posts on 4chan's /pol/ compared to Antisemitic/Islamophobic textual phrases, highlighting the need to design more tools for detecting hateful imagery. Finally, we make available (upon request) a dataset of 246K posts containing 420 Antisemitic/Islamophobic phrases and 21K likely Antisemitic/Islamophobic images (automatically detected by CLIP) that can assist researchers in further understanding Antisemitism and Islamophobia.

研究动机与目标

• 探究基于对比学习的大规模预训练模型是否能够以可接受的性能检测跨文本与图像的仇恨内容。
• 评估 CLIP 在检测反犹太主义与反穆斯林主义图像方面相较于现有基线模型的表现。
• 了解 4chan 的 /pol/ 板上仇恨性文本与视觉内容的普遍程度。
• 为未来研究发布一个包含 246,000 篇帖子（含 420 个仇恨短语）与 21,000 张可能具有仇恨性质图像的数据集。
• 指出自动仇恨内容检测中的局限性，如误报、模型偏见以及对输入表述方式的敏感性。

提出的方法

• 利用 Google 的 Perspective API 和人工标注，从 4chan /pol/ 板的 6600 万篇帖子中识别出 420 个反犹太主义与反穆斯林主义的文本短语。
• 应用 OpenAI 的 CLIP 模型，该模型利用对比学习将文本与图像嵌入到共享向量空间中，以检测与已识别仇恨短语相似的图像。
• 检索到 21,000 张与仇恨短语具有高相似度得分的图像，表明其可能含有反犹太主义或反穆斯林主义内容。
• 使用标准指标评估 CLIP 的性能：准确率（0.81）、精确率（0.54）、召回率（0.53）和 F1 得分（0.54）。
• 将 CLIP 的性能与两个现有基线模型在仇恨图像检测方面的表现进行比较，发现 CLIP 在所有指标上均表现更优。
• 通过人工分析识别出的问题包括误报、模型偏见（例如，将穆斯林与恐怖主义关联）以及对长文本输入的敏感性。

实验结果

研究问题

• RQ1 像 CLIP 这类大规模预训练模型是否能够以可接受的性能检测仇恨内容？其表现与当前最先进的仇恨图像分类器相比如何？
• RQ2 反犹太主义与反穆斯林主义的文本短语及图像在 4chan 的 /pol/ 板上有多普遍？
• RQ3 当输入表述长度和图像复杂度变化时，CLIP 的性能如何变化，特别是在图像中包含大量文字的情况下？
• RQ4 在检测仇恨内容时，CLIP 中存在哪些偏见？这些偏见如何影响检测的可靠性？
• RQ5 误报在多大程度上影响了 CLIP 及所发布数据集在下游研究中的可用性？

主要发现

• CLIP 在检测反犹太主义与反穆斯林主义图像方面取得了 0.54 的 F1 得分，准确率为 0.81，精确率为 0.54，召回率为 0.53。
• 在检测仇恨图像方面，CLIP 在所有评估指标（准确率、精确率、F1 得分）上均优于两个现有基线模型。
• 该方法检测到 246,000 篇包含 420 个反犹太主义与反穆斯林主义文本短语的帖子，以及 21,000 张可能具有仇恨性质的图像。
• /pol/ 板上反犹太主义与反穆斯林主义图像的普遍程度与文本短语相当，表明需要更有效的视觉仇恨内容检测工具。
• CLIP 对输入表述长度表现出高度敏感性，其性能在长文本短语及包含大量文字的图像上显著下降。
• 所发布的数据集中包含大量误报，研究人员在下游任务中应预期需进行额外的人工标注以降低噪声。