[论文解读] Network-wide Statistical Modeling and Prediction of Computer Traffic

Joel Vaughan, Stilian Stoev+1 more|arXiv (Cornell University)|May 25, 2010

Network Traffic and Congestion Control参考文献 8被引用 4

一句话总结

本文提出一种全网统计模型，结合高成本的流级测量与低成本的链路级观测，以预测未监控链路的流量。通过使用具有物理可解释性的概率模型及迭代估计方法（如OLS/GLS），该模型在多个时间段内实现了准确且稳健的预测，从而支持基于控制图的网络流量异常检测。

ABSTRACT

In order to maintain consistent quality of service, computer network engineers face the task of monitoring the traffic fluctuations on the individual links making up the network. However, due to resource constraints and limited access, it is not possible to directly measure all the links. Starting with a physically interpretable probabilistic model of network-wide traffic, we demonstrate how an expensively obtained set of measurements may be used to develop a network-specific model of the traffic across the network. This model may then be used in conjunction with easily obtainable measurements to provide more accurate prediction than is possible with only the inexpensive measurements. We show that the model, once learned may be used for the same network for many different periods of traffic. Finally, we show an application of the prediction technique to create relevant control charts for detection and isolation of shifts in network traffic.

研究动机与目标

• 解决由于资源和访问限制导致在大规模网络中预测未观测链路流量的挑战。
• 克服高成本流级数据与低成本但信息量较少的链路级测量之间的权衡。
• 开发一种网络特定的统计模型，利用初始的流级数据提升后续周期仅使用链路级数据的预测精度。
• 实现长期可重用的建模，无需重复进行高成本测量，以维持服务质量监控的一致性。
• 通过基于预测链路负载的控制图，展示在检测流量变化方面的实际应用。

提出的方法

• 建立一个概率模型，其中链路级流量 $ Y(t) = A X(t) $，$ A $ 为将流映射到链路的路由矩阵。
• 使用普通最小二乘法（OLS）和广义最小二乘法（GLS）估计参数 $ \beta $，基于观测到的链路数据 $ \overline{Y}_o(t_0) $，假设存在线性关系且误差具有异方差性。
• 应用迭代估计（如 $ \widehat{\beta}_k $）以利用依赖于估计流强度的协方差结构 $ G(\widetilde{\beta}) $ 来优化参数估计。
• 将误差过程建模为具有长程依赖性的平稳高斯过程，使用谱密度函数和自协方差函数。
• 通过马鲁亚马定理和连续性论证，证明当样本量 $ m \to \infty $ 时估计量的一致性，确保模型一致性。
• 利用学习到的模型预测未观测的链路流量，并基于预测区间构建控制图以实现异常检测。

实验结果

研究问题

• RQ1 能否通过结合高成本的流级数据与易于获取的链路级数据，构建一个全网统计模型，以提高流量预测的准确性？
• RQ2 在未使用新的流级数据重新训练的情况下，该学习模型在不同时间段网络流量上的鲁棒性如何？
• RQ3 与仅使用链路级数据的模型相比，引入流级信息在多大程度上提升了链路级流量预测的准确性？
• RQ4 该模型能否通过基于预测链路负载的控制图实现可靠的流量突变检测？
• RQ5 在现实网络流量假设下，所提出的估计量（如一致性）具有何种渐近性质？

主要发现

• 所提出的模型在初始校准阶段使用流级数据后，仅依赖低成本的链路级测量，即可实现对未观测链路流量的一致且准确的预测。
• 当观测数 $ m \to \infty $ 时，$ \beta $ 的OLS与GLS估计量具有强一致性，确保了参数估计的可靠性。
• 迭代估计过程 $ \widehat{\beta}_k $ 几乎必然收敛于真实参数 $ \beta $，验证了该方法的稳健性。
• 模型的预测性能在多个时间段内保持稳定，表明无需重新采集高成本的流级数据即可实现长期重用。
• 估计的误差方差 $ \widehat{\sigma}^2 $ 具有强一致性，证实了预测中不确定性量化的可靠性。
• 基于预测链路负载的控制图能够成功检测到流量变化，展示了其在网络监控与异常检测中的实际应用价值。