[论文解读] Spider and the Flies : Focused Crawling on Tumblr to Detect Hate Promoting Communities

Swati Agarwal, Ashish Sureka|arXiv (Cornell University)|Mar 30, 2016

Spam and Phishing Detection参考文献 17被引用 8

一句话总结

本文提出一种基于文本分类与社交网络分析的专题爬虫，用于检测Tumblr上的仇恨言论传播社区。通过仅使用已知仇恨内容博客的训练数据训练一类分类器，将转播（re-blogs）和点赞（likes）作为网络连接关系，并应用中心性度量方法，该方法实现了0.80的F值，通过转播模式识别出具有影响力的极端分子，证明了转播行为是极端主义网络连通性的有力指标。

ABSTRACT

Tumblr is one of the largest and most popular microblogging website on the Internet. Studies shows that due to high reachability among viewers, low publication barriers and social networking connectivity, microblogging websites are being misused as a platform to post hateful speech and recruiting new members by existing extremist groups. Manual identification of such posts and communities is overwhelmingly impractical due to large amount of posts and blogs being published every day. We propose a topic based web crawler primarily consisting of multiple phases: training a text classifier model consisting examples of only hate promoting users, extracting posts of an unknown tumblr micro-blogger, classifying hate promoting bloggers based on their activity feeds, crawling through the external links to other bloggers and performing a social network analysis on connected extremist bloggers. To investigate the effectiveness of our approach, we conduct experiments on large real world dataset. Experimental results reveals that the proposed approach is an effective method and has an F-score of 0.80. We apply social network analysis based techniques and identify influential and core bloggers in a community.

研究动机与目标

• 使用基于主题的网络爬虫检测Tumblr上的仇恨言论传播博主。
• 评估转播与点赞行为作为网络连接关系在揭示极端主义社区方面的有效性。
• 应用社交网络分析识别极端主义网络中的核心与关键博主。
• 研究上下文元数据（帖子内容、标签、说明文字）在分类仇恨言论内容中的作用。
• 展示在微博客平台上自动检测隐藏极端主义社区的可行性。

提出的方法

• 仅使用已知仇恨言论博主的帖子训练一类文本分类器，以识别具有相似特征的用户。
• 在有向图上执行随机游走，其中节点为Tumblr博主，边表示转播或点赞行为。
• 从博主的活动信息流中提取帖子及其元数据（内容、标签、说明文字）用于分类。
• 构建两个独立网络：一个基于“被转播的帖子”，另一个基于“被点赞的帖子”，以比较链接特征的有效性。
• 应用中心性度量（接近度、中介度、入度/出度）识别具有影响力和核心地位的博主。
• 使用模块度与聚类系数评估网络结构与社区形成情况。

实验结果

研究问题

• RQ1 能否通过内容与基于链接的特征，利用专题爬虫有效识别Tumblr上的仇恨言论传播博主？
• RQ2 转播与“点赞”行为在指示极端主义博主之间连接关系方面有多有效？
• RQ3 社交网络分析在多大程度上能够揭示Tumblr上隐藏的仇恨言论传播用户社区？
• RQ4 上下文元数据（如帖子内容、标签、说明文字）如何促进对极端主义内容的分类？
• RQ5 在Tumblr的极端主义网络中，哪些中心性度量最能识别具有影响力和核心地位的博主？

主要发现

• 所提出的方法在检测仇恨言论传播博主方面实现了0.80的F值，表现出高度有效性。
• 与“点赞”相比，转播是识别相连极端主义社区更强且更具区分度的链接特征。
• 基于转播链接构建的网络表现出更高的密度与模块度，表明其社区结构更紧密。
• 具有高中介度中心性的博主在极端主义网络中处于核心位置，充当原本不连通节点之间的桥梁。
• 接近度中心性识别出关键影响者，其位于核心网络两到三跳范围内，表明其网络影响力广泛。
• 人工检查确认，仇恨内容帖子极为受欢迎，获得大量留言（notes），且具有针对特定受众的战略性传播特征。