[论文解读] Predicting SLA Violations in Real Time using Online Machine Learning

Jawwad Ahmed, Andreas Johnsson+4 more|arXiv (Cornell University)|Sep 4, 2015

Data Stream Mining Techniques参考文献 17被引用 5

一句话总结

该论文提出了一种与服务无关的在线机器学习方法，通过在服务器端实时采集的流式设备级指标，实现对SLA违规行为的实时预测。在动态负载条件下，该方法对视频点播服务SLA违规行为的预测准确率超过90%，误报率低于10%，优于传统离线学习方法。

ABSTRACT

Detecting faults and SLA violations in a timely manner is critical for telecom providers, in order to avoid loss in business, revenue and reputation. At the same time predicting SLA violations for user services in telecom environments is difficult, due to time-varying user demands and infrastructure load conditions. In this paper, we propose a service-agnostic online learning approach, whereby the behavior of the system is learned on the fly, in order to predict client-side SLA violations. The approach uses device-level metrics, which are collected in a streaming fashion on the server side. Our results show that the approach can produce highly accurate predictions (>90% classification accuracy and < 10% false alarm rate) in scenarios where SLA violations are predicted for a video-on-demand service under changing load patterns. The paper also highlight the limitations of traditional offline learning methods, which perform significantly worse in many of the considered scenarios.

研究动机与目标

• 为解决在用户需求和基础设施负载波动的电信环境中及时检测SLA违规行为的挑战。
• 开发一种与服务无关的方法，能够在无需预先离线训练的情况下实时学习系统行为。
• 与传统离线学习方法相比，提高预测准确率并减少误报。
• 实现实时主动故障检测，以维护服务质量与业务声誉。

提出的方法

• 系统使用从服务器收集的实时设备级指标流（例如，CPU、内存、网络I/O）。
• 在线学习算法随着新数据的到达持续更新模型，以适应系统状态的变化。
• 该方法与服务无关，意味着无需针对特定服务进行特征工程或事先了解应用类型。
• 通过在流入数据上增量训练的模型执行分类，实现实时SLA违规预测。
• 通过流式处理数据，避免从头开始重新训练，并保持低延迟。

实验结果

研究问题

• RQ1 在不同负载模式下，在线机器学习能否有效实现实时SLA违规预测？
• RQ2 在动态电信环境中，在线学习与离线学习在准确率和误报率方面的表现如何比较？
• RQ3 一种与服务无关的方法在无需针对特定服务调优的情况下，其在不同工作负载间的泛化能力如何？
• RQ4 仅使用设备级指标，能否实现实时预测且保持高准确率和低延迟？

主要发现

• 所提出的在线学习方法在动态负载条件下对视频点播服务SLA违规行为的预测准确率超过90%。
• 该方法将误报率保持在10%以下，表明在识别实际违规行为方面具有很高的可靠性。
• 在相同场景下，传统离线学习方法表现显著更差，尤其是在工作负载变化时。
• 通过持续更新模型，系统在应对随时间变化的用户需求和基础设施负载模式方面表现出强大的适应能力。