[论文解读] Structure and Content of the Visible Darknet

Georgia Avarikioti, Roman Brunner+3 more|arXiv (Cornell University)|Nov 4, 2018

Digital Games and Media参考文献 7被引用 15

一句话总结

本文首次使用自研开源爬虫对可见暗网进行了系统性抓取，揭示了一个高度互联、具有无标度特性的网络，包含超过34,000个隐藏服务，其中10,000个处于在线状态。通过监督式机器学习方法，研究发现约一半内容为合法内容，涵盖博客、论坛、政治活动及软件仓库；另有15%的站点涉及欺诈或非法市场活动。

ABSTRACT

In this paper, we analyze the topology and the content found on the "darknet", the set of websites accessible via Tor. We created a darknet spider and crawled the darknet starting from a bootstrap list by recursively following links. We explored the whole connected component of more than 34,000 hidden services, of which we found 10,000 to be online. Contrary to folklore belief, the visible part of the darknet is surprisingly well-connected through hub websites such as wikis and forums. We performed a comprehensive categorization of the content using supervised machine learning. We observe that about half of the visible dark web content is related to apparently licit activities based on our classifier. A significant amount of content pertains to software repositories, blogs, and activism-related websites. Among unlawful hidden services, most pertain to fraudulent websites, services selling counterfeit goods, and drug markets.

研究动机与目标

• 探索并绘制可见暗网的拓扑结构，挑战其孤立且难以访问的固有观念。
• 开发一种可扩展的开源暗网爬虫，能够导航Tor的洋葱服务并递归追踪超链接。
• 利用机器学习对可见暗网内容进行全面分类，重点关注语言、主题与合法性。
• 评估暗网的结构鲁棒性与波动性，特别是关键节点（枢纽）被移除后的影响。
• 提供公开可获取的数据与工具，以支持未来对暗网结构与内容的研究。

提出的方法

• 构建了一个模块化、开源的暗网蜘蛛程序，包含Tor代理、网络模块、解析器、控制器与数据库，用于抓取并存储内容与链接结构。
• 以先前研究中获得的20,000个.onion地址作为种子，加速初始发现过程，实现高速抓取。
• 采用主动学习结合支持向量机（SVM）分类器，对内容按语言、主题与合法性进行标注，有效降低人工标注工作量，同时保持高准确率。
• 在页面级别进行分类，并通过多数投票机制将标签聚合至隐藏服务级别，对高连接度枢纽与代码仓库等特殊类型进行专门处理。
• 利用度分布与直径等指标分析网络拓扑，确认其具有无标度特性，直径为11。
• 长期监测服务可用性，量化网络波动性，发现每周在线服务的变更率约为30%。

实验结果

研究问题

• RQ1 可见暗网的连通性如何？其是否表现出与明网类似的无标度特性？
• RQ2 可见暗网中合法与非法内容的比例是多少？哪些主题占据主导地位？
• RQ3 机器学习在按语言、主题与合法性对暗网内容进行分类方面效果如何？
• RQ4 移除高连接度枢纽服务对暗网整体连通性有何影响？
• RQ5 为何爬虫无法发现更大范围的暗网？其存在哪些技术限制？

主要发现

• 可见暗网包含超过34,000个隐藏服务，抓取时有10,000个处于在线状态，形成高度互联、无标度的网络，直径为11。
• 网络呈现幂律度分布，表明存在如论坛与维基等高度连接的枢纽节点，即使在被移除后仍能维持网络连通性。
• 约50%的可见暗网内容被分类为合法内容，包括博客、论坛、政治活动网站及软件仓库，挑战了暗网主要为非法活动场所的刻板印象。
• 约15%的隐藏服务涉及欺诈活动，其中显著比例用于销售假冒商品或运营毒品市场。
• 暗网具有高度波动性，每周服务变更率约为30%，表明服务可用性频繁变动。
• 爬虫虽发现了暗网中显著但有限的一部分，表明非HTTP服务或间歇性可用性可能阻碍完整发现。