[论文解读] The Moral Foundations Reddit Corpus

Jackson Trager, Alireza S. Ziabari+16 more|arXiv (Cornell University)|Aug 10, 2022

Hate Speech and Cyberbullying Detection被引用 23

一句话总结

介绍 MFRC，这是一个包含 16,123 条英文 Reddit 评论的数据集，按 更新的 Moral Foundations Theory 标注为 8 种道德情感类别，并提供基线 NLP 模型与与 MFTC 的跨语料转移。

ABSTRACT

Moral framing and sentiment can affect a variety of online and offline behaviors, including donation, environmental action, political engagement, and protest. Various computational methods in Natural Language Processing (NLP) have been used to detect moral sentiment from textual data, but achieving strong performance in such subjective tasks requires large, hand-annotated datasets. Previous corpora annotated for moral sentiment have proven valuable, and have generated new insights both within NLP and across the social sciences, but have been limited to Twitter. To facilitate improving our understanding of the role of moral rhetoric, we present the Moral Foundations Reddit Corpus, a collection of 16,123 English Reddit comments that have been curated from 12 distinct subreddits, hand-annotated by at least three trained annotators for 8 categories of moral sentiment (i.e., Care, Proportionality, Equality, Purity, Authority, Loyalty, Thin Morality, Implicit/Explicit Morality) based on the updated Moral Foundations Theory (MFT) framework. We evaluate baselines using large language models (Llama3-8B, Ministral-8B) in zero-shot, few-shot, and PEFT (Parameter-Efficient Fine-Tuning) settings, comparing their performance to fine-tuned encoder-only models like BERT (Bidirectional Encoder Representations from Transformers). The results show that LLMs continue to lag behind fine-tuned encoders on this subjective task, underscoring the ongoing need for human-annotated moral corpora for AI alignment evaluation. Keywords: moral sentiment annotation, moral values, moral foundations theory, multi-label text classification, large language models, benchmark dataset, evaluation and alignment resource

研究动机与目标

• 提供一个公开可得、平台多样化的基于更新的 Moral Foundations Theory (MFT) 的道德情感注释语料库。
• 实现跨领域和跨平台的道德语言分类，超越 Twitter。
• 提供基线 NLP 模型及评估，以基准未来在道德情感检测方面的研究工作。
• 公布注释者元数据，以研究注释者偏见及其对道德注释可靠性的影响。

提出的方法

• 从覆盖美国政治、法国政治和日常道德生活的 12 个子版块中，筛选 16,123 条 Reddit 评论。
• 对每条帖子进行 8 个基础的注释（Care, Equality, Proportionality, Loyalty, Authority, Purity, Thin Morality, Implicit/Explicit Morality）以及 Non-Moral 与置信度注释。
• 采用更新的 MFT 分类法，将 Fairness 拆分为 Equality 与 Proportionality；新增 Thin Morality 与 Implicit/Explicit 类别。
• 采用多注释人设置（每条帖子至少三名注释者）并进行培训与注释者之间一致性检验。
• 提供注释者元数据（人口统计、心理测量）以分析注释者偏见及其对注释的影响。
• 使用分层的 10 折交叉验证、带权损失，训练与评估基线分类器（DDR-SVM、BERT 单标签、以及多标签 BERT），以应对标签稀疏性。
• 通过在 MFRC 与 Moral Foundations Twitter Corpus (MFTC) 之间转移模型，进行跨语料分类。

实验结果

研究问题

• RQ1 MFRC 在 Reddit 上作为检测八个道德基础的数据集表现如何？
• RQ2 基线 NLP 模型（DDR-SVM、BERT 单标签、BERT 多标签）在对 MFRC 道德情感进行分类方面有何比较？
• RQ3 MFRC 与 MFTC 之间的转移性能如何，这说明道德语言模型的跨域泛化能力如何？

主要发现

• BERT 模型在 F1 和精确度方面通常优于 DDR-SVM 基线，覆盖各基础和类别；SVM 往往显示出更高的召回率。就整体现象的道德情感分类（Table 10）而言，单标签设置下，BERT 的 F1 为 0.76，精确度 0.72，召回率 0.81，覆盖所有数据；ML-BERT 的 F1 为 0.73，精确度 0.74，召回率 0.73。
• 跨语料转移显示，在 MFTC 上训练的模型对 MFRC 的 F1 更高，优于相反方向，表明在基于 Twitter 数据训练时具有更强的跨域性能（例如 Table 11–13 中的 Authority、Care、与 Fairness 相关的指标）。
• MFRC 使用 7 个类别（Care、Equality、Proportionality、Loyalty、Authority、Purity、Thin Morality）再加 Implicit/Explicit Morality 与 Non-Moral；对 Fairness 的细粒度拆分为 Equality 与 Proportionality 的保留，体现更新后的 MFT。
• 注释者元数据揭示 MFRC 注释者倾向于自由派取向且背景收入较高，从而为研究道德标注中的注释者偏见提供可能。