[论文解读] When a Tweet is Actually Sexist. A more Comprehensive Classification of Different Online Harassment Categories and The Challenges in NLP

Sima Sharifirad, Stan Matwin|arXiv (Cornell University)|Feb 27, 2019

Hate Speech and Cyberbullying Detection参考文献 12被引用 20

一句话总结

本文提出了一种针对推特上在线骚扰行为的精细化、多类别分类法，引入五种不同类型的骚扰：间接骚扰、信息威胁、性骚扰、身体骚扰以及非 sexists。通过在人工标注的数据集上使用监督式机器学习，研究证明更细致的分类体系能够提升对传统敌意/善意二元对立分类无法涵盖的微妙和复杂形式性别歧视的检测能力，为更有效的基于自然语言处理的仇恨言论检测系统奠定了基础。

ABSTRACT

Sexism is very common in social media and makes the boundaries of freedom tighter for feminist and female users. There is still no comprehensive classification of sexism attracting natural language processing techniques. Categorizing sexism in social media in the categories of hostile or benevolent sexism are so general that simply ignores the other types of sexism happening in these media. This paper proposes a more comprehensive and in-depth categories of online harassment in social media e.g. twitter into the following categories, "Indirect harassment", "Information threat", "sexual harassment", "Physical harassment" and "Not sexist" and address the challenge of labeling them along with presenting the classification result of the categories. It is preliminary work applying machine learning to learn the concept of sexism and distinguishes itself by looking at more precise categories of sexism in social media.

研究动机与目标

• 为解决现有二元分类方法（敌意 vs. 仁慈性别歧视）在捕捉在线骚扰全貌方面的局限性。
• 开发一种更全面、更细致的社交媒体（尤其是推特）在线骚扰分类框架。
• 探究使用自然语言处理技术标注和检测多样化性别歧视形式所面临的挑战。
• 为改进能够检测微妙和间接性别歧视内容的机器学习模型提供基础。

提出的方法

• 作者定义了五类不同的在线骚扰形式：间接骚扰、信息威胁、性骚扰、身体骚扰以及非 sexists。
• 通过人工标注方式，由人类标注员依据所提出的分类体系对推特帖子数据集进行标注，以确保标注的一致性和准确性。
• 在标注后的数据集上训练监督式机器学习模型，将推文分类至五个预设类别。
• 通过标准自然语言处理指标（如精确率、召回率和F1值）评估模型性能，以衡量分类效果。
• 通过分析标注者间一致性并讨论对微妙或间接性别歧视语言分类中的模糊性，应对标注挑战。
• 该方法强调上下文感知分类，认识到性别歧视内容往往以间接或编码形式出现。

实验结果

研究问题

• RQ1 如何将推特上的在线骚扰行为分类为比传统敌意/仁慈二元对立更细致且更有意义的类别？
• RQ2 使用自然语言处理技术标注微妙和间接性别歧视形式时面临哪些关键挑战？
• RQ3 机器学习模型在区分不同类型的在线骚扰（包括性威胁和身体威胁）方面的有效性如何？
• RQ4 相较于二元分类，更全面的分类体系在检测性别歧视内容方面能提升多少？
• RQ5 在标注在线骚扰时，主要的模糊性和分歧来源是什么，以及如何加以缓解？

主要发现

• 所提出的五类分类体系能够更精确地识别各种形式的在线骚扰，包括传统二元模型常遗漏的间接和基于威胁的行为。
• 研究表明，间接骚扰和信息威胁是普遍存在但常被忽视的在线性别歧视形式。
• 标注者间一致性为中等水平，凸显了在标注微妙或依赖上下文的性别歧视语言时所涉及的复杂性和主观性。
• 机器学习模型在新分类体系上取得了可衡量的性能表现，表明在正确标注的前提下，细致分类是可行的。
• 结果表明，当前的自然语言处理系统可能因依赖过于简化的分类方案而显著低估性别歧视内容的检测率。
• 本文确立了更全面的分类框架对于开发有效、上下文感知的社交媒体仇恨言论检测工具至关重要。