[论文解读] Pinpointing Delay and Forwarding Anomalies Using Large-Scale Traceroute Measurements

Romain Fontugne, Emile Aben+2 more|arXiv (Cornell University)|May 16, 2016

Network Traffic and Congestion Control参考文献 51被引用 46

一句话总结

本文提出了一种基于大规模RIPE Atlas追踪路由数据的统计框架，用于检测和定位网络异常——特别是延迟变化和转发失败——而无需生成新的测量数据。通过在数十万个链路的往返时间（RTT）和数据包转发模式上应用稳健统计方法，该方法能够近乎实时地识别出如DDoS攻击、拥塞和对等连接故障等中断事件，具有高精度并显著减少误报。

ABSTRACT

Understanding network health is essential to improve Internet reliability. For instance, detecting disruptions in peer and provider networks facilitates the identification of connectivity problems. Currently this task is time consuming for network operators. It involves a fair amount of manual observation because operators have little visibility into other networks. In this paper we leverage the RIPE Atlas measurement platform to monitor and analyze network conditions. We propose a set of complementary methods to detect network disruptions from traceroute measurements. A novel method of detecting changes in delays is used to identify congested links, and a packet forwarding model is employed to predict traffic paths and to identify faulty routers in case of packet loss. In addition, aggregating results from each method allows us to easily monitor a network and identify coordinated reports manifesting significant network disruptions, reducing uninteresting alarms. Our contributions consist of a statistical approach providing robust estimation for Internet delays and the study of hundreds of thousands link delays. We present three cases demonstrating that the proposed methods detect real disruptions and provide valuable insights, as well as surprising findings, on the location and impact of identified events.

研究动机与目标

• 解决在单个网络边界之外监控多提供商互联网健康状况的挑战，因为人工观察耗时且受限。
• 克服追踪路由数据中网络性能指标（如RTT）可见性差且波动性高的问题，这些问题会妨碍可靠的异常检测。
• 开发自动化、可扩展的方法，仅使用现有的公开测量数据检测并精确定位网络中断——尤其是延迟异常和丢包问题。
• 使网络运营商能够通过高时空精度识别故障链路和路由器，从而排查其自身网络外部的问题。
• 通过聚合多种检测方法的信号并关联跨网络的相关事件，减少误报。

提出的方法

• 利用RIPE Atlas的全球探测器基础设施，收集2015年5月至12月间来自11,538个IPv4和4,307个IPv6探测器的超过28亿个IPv4和12亿个IPv6追踪路由数据。
• 对巴黎探测器测量的往返时间（RTT）值应用稳健统计估计，以检测显著的延迟变化，过滤掉噪声和异常值。
• 构建一个数据包转发模型，学习并预测链路上的正常转发行为，从而识别出突然的异常，如无响应的跳点或缺失的对等LAN。
• 使用责任得分（公式9）量化路由器或链路在转发失败中承担责任的可能性，从而实现精确的故障定位。
• 对每个网络的多个探测器和观测点的异常信号进行聚合，以关联事件并减少误报。
• 将结果与RIPE Atlas流式API集成，实现实时检测，并通过公开的网络界面和API暴露结果以供重用。

实验结果

研究问题

• RQ1 对大规模追踪路由数据进行稳健统计分析，能否可靠检测出指示拥塞或性能下降的链路延迟变化？
• RQ2 基于追踪路由数据训练的转发模型，在多大程度上能够识别出因突发丢包或无响应而出现故障的路由器或链路？
• RQ3 如何聚合多种异常检测信号（延迟变化与转发异常）以减少误报并提升事件关联能力？
• RQ4 所提出的方法能否以高时空精度检测到现实世界中的网络中断，如DDoS攻击、配置错误或对等连接故障？
• RQ5 该方法在仅使用现有公开测量数据的前提下，其可扩展性和覆盖范围在监控跨不同自治系统（AS）的传输链路方面如何？

主要发现

• 统计延迟估计器在数十万个链路上实现了稳定且准确的延迟变化检测，即使在存在噪声RTT测量的情况下也表现良好。
• 该方法通过识别770对无响应的IP地址，在2015年5月13日成功检测到AMS-IX对等LAN中断，并在11:00 UTC报告了显著的负向责任得分峰值。
• 通过检测受影响链路上异常的RTT增加和转发异常，该方法识别出一个DDoS基础设施攻击，其结果与已知事件时间线高度一致。
• 通过持续的RTT增加和转发异常检测到一家一级ISP的拥塞，该问题与意外的流量重路由有关，结果经网络运营商报告得到证实。
• 截至2017年4月，系统已监控5,436个AS，覆盖了互联网中约7,800个传输AS的显著比例，证明了其可扩展性和广泛覆盖能力。
• 该方法无需生成新测量，仅依赖公开的RIPE Atlas数据即可检测到中断，并通过与流式API集成实现实时警报。