[论文解读] Opinion Conflicts: An Effective Route to Detect Incivility in Twitter

Suman Kalyan Maity, Aishik Chakraborty+2 more|arXiv (Cornell University)|Sep 2, 2018

Hate Speech and Cyberbullying Detection参考文献 92被引用 16

一句话总结

该论文提出了一种深度学习模型，通过利用用户与命名实体之间的意见冲突，结合基于字符的卷积神经网络（CNN）和实体特定的情感特征，检测推特上的不文明行为，准确率达到93.3%，较最佳基线模型高出4.9%。

ABSTRACT

In Twitter, there is a rising trend in abusive behavior which often leads to incivility. This trend is affecting users mentally and as a result they tend to leave Twitter and other such social networking sites thus depleting the active user base. In this paper, we study factors associated with incivility. We observe that the act of incivility is highly correlated with the opinion differences between the account holder (i.e., the user writing the incivil tweet) and the target (i.e., the user for whom the incivil tweet is meant for or targeted), toward a named entity. We introduce a character level CNN model and incorporate the entity-specific sentiment information for efficient incivility detection which significantly outperforms multiple baseline methods achieving an impressive accuracy of 93.3% (4.9% improvement over the best baseline). In a post-hoc analysis, we also study the behavioral aspects of the targets and account holders and try to understand the reasons behind the incivility incidents. Interestingly, we observe that there are strong signals of repetitions in incivil behavior. In particular, we find that there are a significant fraction of account holders who act as repeat offenders - attacking the targets even more than 10 times. Similarly, there are also targets who get targeted multiple times. In general, the targets are found to have higher reputation scores than the account holders.

研究动机与目标

• 探究用户与命名实体之间的意见冲突在触发推特上不文明行为中的作用。
• 开发一种自动化、可扩展的不文明行为检测方法，其性能优于现有基线模型。
• 分析不文明行为肇事者与受害者的典型行为模式，包括重复行为与声誉动态。
• 为平台设计与政策制定提供可操作的见解，以减少网络毒性并改善社区健康状况。

提出的方法

• 作者提出一种基于字符的卷积神经网络（CNN）模型，以捕捉推文中的细粒度语言模式。
• 将实体特定的情感信息融入模型中，以突出用户（账号持有者）与目标实体之间在意见上的冲突。
• 模型使用词嵌入和基于字符的LSTM来编码推文内容，增强对侮辱性语言和情感基调的敏感性。
• 通过目标用户的历史推文提取命名实体的情感得分，以量化意见冲突程度。
• 模型在标注的不文明推文数据集上进行端到端训练，损失函数通过交叉熵进行优化。
• 对用户互动模式进行事后行为分析，包括重复频率和声誉评分（如粉丝数、互动量等）。

实验结果

研究问题

• RQ1 用户与命名实体之间意见冲突在多大程度上可预测推文中的不文明行为？
• RQ2 与基线模型相比，引入实体特定情感信息在多大程度上提升了不文明行为检测的性能？
• RQ3 不文明行为肇事者与受害者的行为模式（如重复行为或声誉特征）有哪些典型特征？
• RQ4 能否通过早期识别意见冲突来预防不文明行为或网络欺凌的升级？

主要发现

• 所提出的模型准确率达到93.3%，F1得分为0.82，较最佳基线模型在准确率上提升4.9%，F1得分提升6.5%。
• 相当比例的账号持有者（重复肇事者）对同一人发起超过10次攻击，表明其存在持续性的不文明行为。
• 不文明行为受害者的声誉评分（如粉丝数、互动量等）普遍高于账号持有者，与典型网络欺凌模式形成对比。
• 账号持有者的推文中负面情感词汇的频率更高，包括“swear”、“sex”、“religion”和“death”等，反映出更强的情感强度。
• 受害者的推文中富含积极情绪，表明肇事者与受害者之间存在明显的情感基调差异。
• 存在强有力的重复攻击证据，部分个体被多次攻击，凸显了早期干预系统的重要性。