[论文解读] Zooming Into the Darknet: Characterizing Internet Background Radiation and its Structural Changes

Michalis Kallitsis, Vasant Honavar+3 more|arXiv (Cornell University)|Jul 29, 2021

Opinion Dynamics and Social Influence参考文献 36被引用 7

一句话总结

本文提出了一种深度表示学习框架，用于表征Darknet扫描活动并检测随时间演变的结构变化。通过从原始数据包数据和外部源提取异构特征，利用自编码器学习低维嵌入，并应用可解释的决策树进行聚类，该系统能够识别不断演变的扫描器行为，并利用聚类特征作为签名，检测诸如Mirai僵尸网络激增等高影响力网络事件。

ABSTRACT

Network telescopes or "Darknets" provide a unique window into Internet-wide malicious activities associated with malware propagation, denial of service attacks, scanning performed for network reconnaissance, and others. Analyses of the resulting data can provide actionable insights to security analysts that can be used to prevent or mitigate cyber-threats. Large Darknets, however, observe millions of nefarious events on a daily basis which makes the transformation of the captured information into meaningful insights challenging. We present a novel framework for characterizing Darknet behavior and its temporal evolution aiming to address this challenge. The proposed framework: (i) Extracts a high dimensional representation of Darknet events composed of features distilled from Darknet data and other external sources; (ii) Learns, in an unsupervised fashion, an information-preserving low-dimensional representation of these events (using deep representation learning) that is amenable to clustering; (iv) Performs clustering of the scanner data in the resulting representation space and provides interpretable insights using optimal decision trees; and (v) Utilizes the clustering outcomes as "signatures" that can be used to detect structural changes in the Darknet activities. We evaluate the proposed system on a large operational Network Telescope and demonstrate its ability to detect real-world, high-impact cybersecurity incidents.

研究动机与目标

• 解决来自网络望远镜的高维、异构Darknet数据分析挑战。
• 检测扫描行为随时间的结构变化，例如新型攻击活动或僵尸网络行为。
• 基于扫描器的扫描配置文件和目标特征，实现可解释的扫描器聚类。
• 通过识别不断演变的网络威胁模式，为安全分析师提供可操作的洞察。
• 开发一种可扩展的无监督系统，将原始Darknet数据转化为有意义的威胁签名。

提出的方法

• 从Darknet数据包中提取高维特征，包括扫描端口、IP地理位置、DNS数据以及Censys.io服务元数据。
• 应用深度自编码器，学习异构扫描器数据的非线性、信息保留型低维嵌入。
• 在学习到的嵌入上使用K-means聚类，根据行为相似性对扫描器进行分组。
• 应用最优决策树以解释聚类特征，并提取用于聚类成员资格的人类可读规则。
• 将聚类结果用作动态签名，以检测随时间推移的Darknet活动结构变化。
• 在大规模实际网络望远镜上验证系统，成功检测到Mirai僵尸网络激增等真实世界事件。

实验结果

研究问题

• RQ1 如何有效表征异构、高维的Darknet数据，以支持无监督聚类？
• RQ2 与传统方法相比，深度表示学习是否能提升在复杂扫描行为上的聚类性能？
• RQ3 如何有意义地解释所得聚类，以揭示扫描器行为和攻击模式的洞察？
• RQ4 聚类结果能否作为可靠签名，用于检测Darknet扫描活动的结构变化？
• RQ5 扫描器行为的时序演化模式是什么？它们与真实世界网络事件之间有何关联？

主要发现

• 该系统成功检测到2021年1月7日SSH相关扫描活动的显著激增，与Mirai僵尸网络活动相关。
• 2021年1月7日的六个SSH相关聚类中，有五个由决策树中的单一决策路径解释，表明存在共同的行为特征。
• 2021年1月6日仅观察到一个小型SSH相关聚类（703个扫描器），而2021年1月7日则出现多个大型SSH聚类，每个聚类包含5,739至4,325个扫描器。
• 各天的最常扫描端口保持一致，其中端口445和51974被最频繁地扫描，表明存在持续的扫描模式。
• 决策树识别出端口22（SSH）以及标签如'cwmp'、'embedded'和'https'是SSH扫描器聚类的强指示因素。
• 该框架检测到Darknet活动的结构变化，包括扫描器行为和目标选择的转变，与已知的Mirai僵尸网络活动周期一致。