[论文解读] Spread Love Not Hate: Undermining the Importance of Hateful Pre-training for Hate Speech Detection

Omkar Gokhale, Aditya Kane+3 more|arXiv (Cornell University)|Oct 9, 2022

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文挑戰了仇恨預訓練對仇恨言論檢測至關重要的假設，表明在印地語和马拉地語中，使用非仇恨或隨機領域內推文預訓練的模型，其性能優於或等同於使用仇恨內容預訓練的模型。本文提出了 MahaTweetBERT 和 HindTweetBERT——印度語言的最先进 BERT 模型——並公開發布了這些模型與標準仇恨言論基準數據集，證明性能提升來自領域適配，而非專為仇恨內容設計的預訓練。

ABSTRACT

Pre-training large neural language models, such as BERT, has led to impressive gains on many natural language processing (NLP) tasks. Although this method has proven to be effective for many domains, it might not always provide desirable benefits. In this paper, we study the effects of hateful pre-training on low-resource hate speech classification tasks. While previous studies on the English language have emphasized its importance, we aim to augment their observations with some non-obvious insights. We evaluate different variations of tweet-based BERT models pre-trained on hateful, non-hateful, and mixed subsets of a 40M tweet dataset. This evaluation is carried out for the Indian languages Hindi and Marathi. This paper is empirical evidence that hateful pre-training is not the best pre-training option for hate speech detection. We show that pre-training on non-hateful text from the target domain provides similar or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the first publicly available BERT models pre-trained on Hindi and Marathi tweets, respectively. We show that they provide state-of-the-art performance on hate speech classification tasks. We also release hateful BERT for the two languages and a gold hate speech evaluation benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000 tweets each. The models and data are available at https://github.com/l3cube-pune/MarathiNLP .

研究动机与目标

• 探討在像印地語和马拉地語這樣的低資源印度語言中，仇恨預訓練是否真正對有效的仇恨言論檢測至關重要。
• 評估在 4000 萬條推文語料庫的仇恨、非仇恨和隨機子集上預訓練的 BERT 模型在仇恨言論分類中的表現。
• 開發並公開發布首個公開可用的 BERT 模型——MahaTweetBERT 和 HindTweetBERT——分別在马拉地語和印地語推文上預訓練。
• 建立金標準仇恨言論評估基準數據集 HateEval-Hi 和 HateEval-Mr，每種語言包含 2000 範手動標註的推文。
• 證明透過領域內預訓練進行的領域特定適配（無論內容極性如何）可帶來優於專為仇恨內容設計的預訓練的性能提升。

提出的方法

• 分別使用掩碼語言模型（MLM）目標，在 4000 萬條马拉地語和印地語推文上預訓練 MahaBERT 和 HindBERT 模型。
• 從 4000 萬條推文語料庫中提取三種子集：最仇恨的（前 100 萬條）、最少仇恨的（後 100 萬條）以及隨機（100 萬條）推文，使用先前最先进仇恨言論模型的置信度分數進行分類。
• 使用 25 個週期的訓練計劃，初始起始學習率為 5e-6，在下游仇恨言論檢測數據集（HASOC 和 CONSTRAINT）上微調每種模型變體。
• 使用 Hugging Face 的 transformers 庫進行訓練與模型托管，確保可重現性與可及性。
• 每項實驗進行五次隨機種子運行，報告平均宏 F1 分數，以確保統計可靠性。
• 將所有模型、數據集與訓練代碼在 GitHub 上以 L3Cube-MarathiNLP 項目形式公開，供社區使用。

实验结果

研究问题

• RQ1 在像印地語和马拉地語這樣的低資源印度語言中，基於仇恨推文的預訓練是否能帶來仇恨言論檢測的更優性能？
• RQ2 仇恨預訓練帶來的性能提升，是來自領域適配，還是預訓練數據中特定仇恨內容的直接結果？
• RQ3 在仇恨言論檢測任務中，基於領域內推文預訓練的單語模型與多語模型（如 MuRIL）相比表現如何？
• RQ4 在非仇恨或隨機領域內文本上預訓練的模型，能否實現與仇恨內容預訓練模型相當或更優的性能？
• RQ5 在 4000 萬條推文上進行大規模預訓練，相較於較小的精選子集，對下游仇恨言論分類的改進程度如何？

主要发现

• 在印地語和马拉地語的仇恨言論檢測任務中，基於非仇恨或隨機推文子集預訓練的模型，其性能優於或等同於基於仇恨內容預訓練的模型。
• MahaTweetBERT 和 HindTweetBERT 模型在 4000 萬條領域內推文上預訓練，其在所有下游數據集上均達到最先进性能，甚至優於仇恨變體。
• 仇恨預訓練變體（如 MahaTweetBERT-Hateful）並未帶來最佳結果；事實上，在三種马拉地語數據集中的兩種以及所有印地語數據集上，其宏 F1 分數均低於在非仇恨或隨機數據上訓練的模型。
• 在大型領域內推文語料庫上重新訓練的單語模型，顯著優於在 17 種印度語言和數十億 token 上預訓練的多語模型 MuRIL。
• 仇恨預訓練帶來的性能提升，很可能是領域適配的副產物，而非直接來自對仇恨特定語言模式的學習。
• HateEval-Hi 和 HateEval-Mr 的發布，每種語言包含 2000 範手動標註的推文，為印地語和马拉地語的仇恨言論檢測提供了首個金標準基準。