[论文解读] Revealing the Autonomous System Taxonomy: The Machine Learning Approach

Xenofontas Dimitropoulos, Dmitri Krioukov+2 more|ArXiv.org|Apr 6, 2006

Complex Network Analysis Techniques参考文献 9被引用 66

一句话总结

本文提出一种基于机器学习的方法，利用多种数据源将互联网自治系统（AS）分类至自然分类体系中，实现了对95.3%的AS进行六类分类（客户、小型ISP、大学、NIC、IXP和大型ISP）的78.1%准确率。该方法利用IRR记录、AS关系、IP前缀和BGP拓扑数据提取区分性特征并训练分类器，结果已公开发布，以支持更真实的互联网建模与分析。

ABSTRACT

Although the Internet AS-level topology has been extensively studied over the past few years, little is known about the details of the AS taxonomy. An AS "node" can represent a wide variety of organizations, e.g., large ISP, or small private business, university, with vastly different network characteristics, external connectivity patterns, network growth tendencies, and other properties that we can hardly neglect while working on veracious Internet representations in simulation environments. In this paper, we introduce a radically new approach based on machine learning techniques to map all the ASes in the Internet into a natural AS taxonomy. We successfully classify 95.3% of ASes with expected accuracy of 78.1%. We release to the community the AS-level topology dataset augmented with: 1) the AS taxonomy information and 2) the set of AS attributes we used to classify ASes. We believe that this dataset will serve as an invaluable addition to further understanding of the structure and evolution of the Internet.

研究动机与目标

• 为解决互联网中自治系统（AS）缺乏系统性、数据驱动的分类体系的问题，该问题阻碍了对网络拓扑与演化的准确建模。
• 克服以往基于启发式或度中心性的AS分类方法的局限性，这些方法将具有根本不同网络特性的AS混淆在一起。
• 开发一种机器学习框架，识别AS特征中内在的、基于实证观察的差异，以生成自然且具代表性的分类体系。
• 通过交叉验证和对1,200个AS的手动标注，验证分类器的性能，确保其可靠性与泛化能力。
• 发布一个全面的AS属性与分类标签数据集，以支持未来在互联网结构、演化与仿真方面的研究。

提出的方法

• 该方法使用多种数据源：互联网路由注册表（IRR）记录、RouteViews BGP数据、推断的AS关系以及IP前缀广告，以提取AS的宏观特征。
• 基于这些特征训练一个机器学习分类器，以区分六类AS：大型ISP、小型ISP、客户AS、大学、IXP和NIC。
• 分类器采用置信度排序，为每个类别分配概率，交叉验证期间以准确率和覆盖率作为评估指标。
• 在400次迭代中执行交叉验证，训练集规模从1,100个样本变化，每次迭代保留100个样本用于验证。
• 当特征不足以进行可靠分类时，算法对4.7%的AS（923个AS）放弃预测。
• 最终模型应用于包含24,713个AS的完整数据集，生成的分类体系准确率为78.1%，且97.7%的正确类别位于前两名预测中。

实验结果

研究问题

• RQ1 基于内在的、实证观察到的特征而非启发式或基于图的启发式方法，机器学习方法能否有效对AS进行自然分类？
• RQ2 分类器在区分具有截然不同网络基础设施的AS（如大学与小型企业，或ISP与客户AS）方面，准确度如何？
• RQ3 除BGP拓扑外，数据多样性对AS分类质量与可靠性有何影响？
• RQ4 分类错误在多大程度上源于客户AS与小型ISP等类别之间特征的相似性？
• RQ5 公开发布的AS属性与分类标签数据集在多大程度上能显著提升互联网拓扑与演化建模的真实性？

主要发现

• 分类器成功对数据集中24,713个AS中的95.3%进行了分类，验证集上的预测准确率为78.1%。
• 覆盖率0.251表明，在97.7%的预测中，正确类别位于前两名预测中。
• 大型ISP、NIC、IXP和大学的分类准确率均为100%，而客户AS和小型ISP的准确率分别为92.8%和72.1%。
• 分类的主要挑战源于重叠特征：小型ISP与客户AS常具有相似的低度数（1–2）和类似的前缀广告模式。
• 数据集中包含11,729个客户AS（63.0%）、5,599个小型ISP（30.1%）、877所大学（4.7%）、333个IXP（1.8%）、33个NIC（0.2%）和44个大型ISP（0.2%）。
• 作者将完整数据集（含AS属性与分类标签）公开发布，这是迄今最全面的同类数据集。