[论文解读] Predicting traffic overflows on private peering

Elad Rapaport, Ingmar Poese+3 more|arXiv (Cornell University)|Oct 3, 2020

Image and Video Quality Assessment参考文献 30被引用 4

一句话总结

本文提出一种集成深度学习模型，用于预测大型内容提供商与ISP之间私有对等连接上的短期（2–6小时）流量溢出，实现80%的真正例率和5%的假正例率。该方法利用历史NetFlow数据预测溢出事件并识别存在风险的特定对等连接，从而实现主动缓解策略，减少服务中断和成本。

ABSTRACT

Large content providers and content distribution network operators usually connect with large Internet service providers (eyeball networks) through dedicated private peering. The capacity of these private network interconnects is provisioned to match the volume of the real content demand by the users. Unfortunately, in case of a surge in traffic demand, for example due to a content trending in a certain country, the capacity of the private interconnect may deplete and the content provider/distributor would have to reroute the excess traffic through transit providers. Although, such overflow events are rare, they have significant negative impacts on content providers, Internet service providers, and end-users. These include unexpected delays and disruptions reducing the user experience quality, as well as direct costs paid by the Internet service provider to the transit providers. If the traffic overflow events could be predicted, the Internet service providers would be able to influence the routes chosen for the excess traffic to reduce the costs and increase user experience quality. In this article we propose a method based on an ensemble of deep learning models to predict overflow events over a short term horizon of 2-6 hours and predict the specific interconnections that will ingress the overflow traffic. The method was evaluated with 2.5 years' traffic measurement data from a large European Internet service provider resulting in a true-positive rate of 0.8 while maintaining a 0.05 false-positive rate. The lockdown imposed by the COVID-19 pandemic reduced the overflow prediction accuracy. Nevertheless, starting from the end of April 2020 with the gradual lockdown release, the old models trained before the pandemic perform equally well.

研究动机与目标

• 为应对由于超大型内容需求激增导致的私有对等连接流量溢出风险上升的问题。
• 使ISP能够在服务质量和传输成本下降之前主动缓解溢出事件。
• 开发一种提前2–6小时的短期预测模型，识别可能发生溢出的具体对等连接。
• 评估模型在COVID-19大流行等异常情况下的鲁棒性。
• 基于与内容提供商的通信机制，提出可行的缓解策略。

提出的方法

• 使用欧洲ISP两年半的NetFlow数据，训练一个深度神经网络集成模型，以预测私有对等连接上的流量溢出。
• 模型将前几小时的时序特征和每周模式作为输入，以预测溢出流量的规模和事件发生的可能性。
• 采用回归模型同时预测溢出流量的体积和事件是否发生的二值结果。
• 应用模型可解释性技术，验证预测结果主要由有意义的时序模式驱动，特别是最近和前一周的历史数据。
• 基于可用的通信机制（如BGP、ALTO）构建操作队列，以支持与内容提供商协作进行流量重路由。
• 系统支持实时预测和自动化操作调度，并长期记录数据以用于模型再训练。

实验结果

研究问题

• RQ1 深度学习模型能否提前最多6小时准确预测私有对等连接的流量溢出？
• RQ2 哪些时序特征对预测溢出事件最具影响力？
• RQ3 在COVID-19大流行等异常流量条件下，模型性能如何退化？
• RQ4 模型能否识别出可能发生溢出的具体对等连接，从而实现针对性缓解？
• RQ5 ISP与内容提供商在应对预测到的溢出时，有哪些可行的通信与操作机制？

主要发现

• 模型在预测溢出事件时实现了0.8（80%）的真正例率，同时保持0.05（5%）的假正例率。
• 由于COVID-19大流行期间出现前所未有的流量模式，模型性能在高峰期有所下降。
• 解除封锁措施后，性能恢复至大流行前水平，表明模型具备良好的适应能力。
• 模型可解释性分析显示，预测结果对预测前2–6小时及前一周的数据最为敏感。
• 模型成功识别出可能发生溢出的具体对等连接，从而支持针对性缓解策略。
• 通过集成BGP和基于ALTO的带外通信通道，实现了可扩展且灵活的流量重路由协作。