[论文解读] Yarrp'ing the Internet: Randomized High-Speed Active Topology Discovery

Robert Beverly|arXiv (Cornell University)|May 12, 2016

Network Traffic and Congestion Control参考文献 23被引用 7

一句话总结

Yarrp 是一种无状态、随机化的主动拓扑发现系统，能够在每秒 100K 个数据包的速率下实现高速的全网探测，30 分钟内映射超过 40 万个路由器接口。通过异步重组来自 ICMP 回复的路径信息，并对 IP×TTL 探测空间进行随机排列，Yarrp 实现了亚小时级的 IPv4 网络拓扑映射，揭示了以往缓慢工具无法检测到的快速变化的拓扑动态。

ABSTRACT

Obtaining a "snapshot" of the Internet topology remains an elusive task. Existing active topology discovery techniques and systems require significant probing time -- time during which the underlying network may experience transient dynamics. This work considers how active probing can gather the Internet topology in minutes rather than days. Conventional approaches to active topology mapping face two primary speed and scale impediments: i) per-trace state maintenance; and ii) a low-degree of parallelism. Based on this observation, we develop Yarrp (Yelling at Random Routers Progressively), a new traceroute technique designed for high-rate, Internet-scale probing. Yarrp is stateless, reconstituting all necessary information from ICMP replies as they arrive asynchronously. To avoid overloading routers or links with probe traffic, Yarrp randomly permutes an input IP x TTL space. We run Yarrp at 100Kpps, a rate at which the paths to all /24's on the IPv4 Internet can be mapped in approximately one hour from a single vantage point. We compare Yarrp against existing systems, and present examples of topological dynamics exposed via the high sampling rates Yarrp enables.

研究动机与目标

• 为克服传统基于 traceroute 的拓扑映射在可扩展性和速度上的局限性，后者需要数天时间且需维护每个探测的状态。
• 通过消除状态维护并支持跨多种路径的大规模并行探测，实现高速、大规模的主动拓扑发现。
• 通过实现高采样率下的快速、重复的拓扑快照，揭示瞬态网络动态。
• 开发一个公开可用、可扩展的实时互联网拓扑测量工具，支持未来的纵向研究。
• 探索在最小协调开销下，跨多个观测点进行分布式、协同探测的可行性。

提出的方法

• Yarrp 采用无状态设计，仅通过异步到达的 ICMP '超时' 回复重组路径信息，从而消除对每个探测状态的跟踪。
• 通过随机排列输入的 IP 地址和 TTL 值空间，实现探测负载的分布，避免对任何单个路由器或链路造成过载。
• 以每秒 10 万个数据包的速率发送探测，使用 TCP SYN 包，并将唯一标识符编码在源端口以匹配响应。
• 系统利用传输头的前 8 个字节（源端口和序列号）将 ICMP 回复与原始探测关联，确保响应相关性，而无需维护状态。
• 通过每个观测点使用模 hashing（例如 IP % n == i）探测排列后的 IP×TTL 空间的一个唯一子集，支持分布式部署。
• 该设计允许未来扩展以支持 ICMP 和 UDP 探测，以及采用加密完整性校验防止伪造响应。

实验结果

研究问题

• RQ1 能否通过无状态、随机化探测方法，将主动互联网拓扑映射的速度从数天提升至数分钟？
• RQ2 高速探测在多大程度上揭示了传统慢速系统无法观测到的瞬态路径动态？
• RQ3 Yarrp 在速度和召回率方面与 CAIDA 的 Ark 和 Scamper 等成熟系统相比，性能和准确性如何？
• RQ4 在最小协调开销下，将 Yarrp 探测分布到多个观测点的可行性如何？
• RQ5 无状态探测如何扩展以支持多种传输协议，并提升对伪造响应的鲁棒性？

主要发现

• Yarrp 从单一观测点在 30 分钟内映射了超过 40 万个唯一路由器接口，探测速率达到每秒 10 万个数据包。
• 与 CAIDA 的 Ark 平台相比，系统实现了 10 倍的速度提升，后者需超过 30 小时才能映射相同数量的接口。
• 通过实现快速、重复的快照，Yarrp 在数秒内揭示了负载均衡切换和瞬时路由变更等路径动态。
• 研究表明，路径变更频繁发生且通常持续时间短暂，这挑战了长期拓扑模型中关于路径稳定性的假设。
• 在 128 个观测点上分布式部署 Yarrp，可约在一小时内映射所有 IPv4 /24 前缀，实现线性加速且协调开销极低。
• 无状态、随机化设计实现了对网络动态的稳健可扩展性和鲁棒性，使其适用于长期和实时的拓扑分析。