[论文解读] Prediction of Cyberbullying Incidents on the Instagram Social Network

Homa Hosseinmardi, Sabrina Arredondo Mattson+4 more|arXiv (Cornell University)|Aug 25, 2015

Hate Speech and Cyberbullying Detection参考文献 24被引用 77

一句话总结

本文提出一种多模态方法，通过结合文本、视觉和社交网络特征，利用人工标注数据，在Instagram上检测和预测网络欺凌行为。使用最大熵分类器时，预测网络欺凌的召回率为76%，精确率为62%，表明尽管仅靠非文本特征对检测的影响有限，但其在预测中至关重要。

ABSTRACT

Cyberbullying is a growing problem affecting more than half of all American teens. The main goal of this paper is to investigate fundamentally new approaches to understand and automatically detect and predict incidents of cyberbullying in Instagram, a media-based mobile social network. In this work, we have collected a sample data set consisting of Instagram images and their associated comments. We then designed a labeling study and employed human contributors at the crowd-sourced CrowdFlower website to label these media sessions for cyberbullying. A detailed analysis of the labeled data is then presented, including a study of relationships between cyberbullying and a host of features such as cyberaggression, profanity, social graph features, temporal commenting behavior, linguistic content, and image content. Using the labeled data, we further design and evaluate the performance of classifiers to automatically detect and pre- dict incidents of cyberbullying and cyberaggression.

研究动机与目标

• 区分媒体型社交网络（如Instagram）中的网络欺凌与一般网络攻击。
• 通过众包人工标注，收集并标注大规模数据集（3,165K个Instagram媒体会话，包含图片和评论），用于网络欺凌和网络攻击的识别。
• 分析网络欺凌与多种特征之间的关系，包括语言内容、图像内容、粗俗用语、社交图谱动态以及时间性评论行为。
• 设计并评估融合文本、图像和用户元数据的多模态分类器，用于网络欺凌事件的检测与预测。
• 开发预测模型，利用早期行为信号在完整模式显现前预测网络欺凌的出现。

提出的方法

• 从25,000个用户资料中收集了3,165K个Instagram媒体会话，包含图片、关联评论及元数据。
• 通过CrowdFlower平台开展众包标注研究，为网络欺凌和网络攻击分配真实标签，标注者需同时查看图片和评论以确保上下文准确性。
• 提取并分析多模态特征：语言特征（粗俗用语、情感倾向、主题类别如“死亡”或“宗教”）、图像内容（通过人工标注）、社交网络属性（点赞数、关注者数、关注数、发帖时间）。
• 设计并评估基于最大熵（MaxEnt）和SVM的多模态分类器，整合文本、图像、用户和时间特征组合，用于检测与预测任务。
• 使用评论的到达间隔时间及评论历史（如5、10、15条评论窗口）作为时间特征，以建模行为模式。
• 采用标准指标评估性能：F1值、精确率和召回率，并通过消融实验评估特征重要性。

实验结果

研究问题

• RQ1 Instagram上的网络欺凌事件与语言、视觉及社交网络特征之间存在何种关联？
• RQ2 与仅依赖文本的模型相比，非文本特征（如图像内容和用户元数据）在预测网络欺凌方面提升了多少？
• RQ3 评论频率、时间分布与媒体会话中网络欺凌的存在之间存在何种关系？
• RQ4 网络攻击与网络欺凌之间的区分如何影响分类器性能与标注一致性？
• RQ5 评论和用户互动中的早期行为模式能否在完整事件发生前预测网络欺凌的出现？

主要发现

• 标注者在识别网络欺凌和网络攻击方面表现出高度一致性，表明在提供完整上下文时，人工判断具有可靠性。
• 大量媒体会话中包含粗俗用语和网络攻击，但未被标注为网络欺凌，表明仅靠粗俗用语检测不足以识别基于模式的持续性网络欺凌。
• 负面情绪占比超过60–70%的媒体会话被分类为网络欺凌的可能性较低，提示极端负面情绪未必代表重复性、权力失衡的攻击。
• 网络欺凌事件与更高的评论频率和更低的每篇帖子点赞数相关，表明存在更高敌意性与更少社会支持。
• 图像内容类别如“毒品”与网络欺凌强相关，而“纹身”和“食物”则无显著关联。
• 最大熵分类器通过结合用户属性、图像内容、发帖时间、标题和评论历史，实现了76%的召回率和62%的精确率，证明非文本特征在有效预测中不可或缺。