[论文解读] Towards Fine Grained Network Flow Prediction

Patrick Jahnke, Emmanuel Stapf+3 more|arXiv (Cornell University)|Aug 20, 2018

Network Traffic and Congestion Control参考文献 31被引用 3

一句话总结

本文提出了一种基于频率的核卡尔曼滤波器（FKKF），一种新颖的方法，通过使用短时傅里叶变换（STFT）将时间序列流数据转换到频域，利用主成分分析（PCA）提取关键模式，并应用核化卡尔曼滤波器来预测突发性流量峰值，实现细粒度的、逐流的网络流量预测。该方法在20个流组中的17个上实现了平均6.43%的预测误差，显著优于表现出77%误差的粗粒度方法。

ABSTRACT

One main challenge for the design of networks is that traffic load is not generally known in advance. This makes it hard to adequately devote resources such as to best prevent or mitigate bottlenecks. While several authors have shown how to predict traffic in a coarse grained manner by aggregating flows, fine grained prediction of traffic at the level of individual flows, including bursty traffic, is widely considered to be impossible. This paper shows, to the best of our knowledge, the first approach to fine grained per flow traffic prediction. In short, we introduce the Frequency-based Kernel Kalman Filter (FKKF), which predicts individual flows' behavior based on measurements. Our FKKF relies on the well known Kalman Filter in combination with a kernel to support the prediction of non linear functions. Furthermore we change the operating space from time to frequency space. In this space, into which we transform the input data via a Short-Time Fourier Transform (STFT), the peak structures of flows can be predicted after gleaning their key characteristics, with a Principal Component Analysis (PCA), from past and ongoing flows that stem from the same socket-to-socket connection. We demonstrate the effectiveness of our approach on popular benchmark traces from a university data center. Our approach predicts traffic on average across 17 out of 20 groups of flows with an average prediction error of 6.43% around 0.49 (average) seconds in advance, whilst existing coarse grained approaches exhibit prediction errors of 77% at best.

研究动机与目标

• 为解决实时预测突发性、单个网络流的挑战，这对主动拥塞控制至关重要。
• 克服粗粒度聚合方法的局限性，这些方法无法捕捉短期、高方差的流量突发。
• 仅使用同一套接字到套接字连接的过去和正在进行的数据，实现对单个流中峰值流量的准确、早期预测。
• 设计一种可扩展的、去中心化的预测系统，适用于在普通网络交换机上部署。
• 通过支持及时的路由重定向或资源分配，实现主动网络管理，从而在拥塞发生前进行干预。

提出的方法

• 使用短时傅里叶变换（STFT）将原始网络流数据转换到频域，以揭示稳定的频谱模式。
• 应用主成分分析（PCA）从具有相同套接字到套接字连接的过去和正在进行的流中提取主导频率分量。
• 使用核化卡尔曼滤波器（FKKF）对频域中的非线性动态进行建模，从而预测未来的峰值结构。
• 以去中心化方式运行，每个网络设备上运行独立的FKKF实例，实现实时预测单个流。
• 将FKKF与监控系统集成，以10ms的高精度轮询间隔确保预测准确性。
• 优化计算负载，使每个交换机核心可预测超过200个流，从而在大规模网络中实现可扩展性。

实验结果

研究问题

• RQ1 能否仅使用同一连接的过去和正在进行的数据，实现对突发性网络流的细粒度逐流流量预测？
• RQ2 将流数据转换到频域是否能比时域方法更准确地预测短期流量峰值？
• RQ3 核化卡尔曼滤波器是否能有效建模频域中的非线性、高方差流量动态？
• RQ4 所提出的FKKF方法是否足够可扩展且高效，足以在普通网络硬件上部署？
• RQ5 FKKF是否能足够早且足够准确地预测流量峰值，从而实现主动拥塞控制？

主要发现

• FKKF在20个流组中的17个上实现了平均6.43%的预测误差，证明其在预测突发性流量峰值方面具有高精度。
• 该方法平均提前0.49秒预测流量，为网络主动适应提供了充足的提前时间。
• 相比之下，ARIMA和GARCH等传统方法无法预测峰值，常常预测为零或出现振荡值，这是由于其无法对非线性突发进行建模。
• 在单个CPU核心上，FKKF每1000次预测平均仅需3.65ms，可实现实时预测超过200个流/交换机。
• 当监控100个流时，监控系统实现了99%的轮询精度，且仅使用50%的CPU利用率，证实其在普通硬件上的可行性。
• 该方法成功识别了套接字到套接字连接中的重复模式，实现了流间学习，并在初始数据有限的情况下仍能实现稳健预测。