[论文解读] Tracking System Behaviour from Resource Usage Data

Niyazi Sorkunlu, Varun Chandola+1 more|arXiv (Cornell University)|May 30, 2017

Software System Performance and Reliability被引用 8

一句话总结

本文提出一种基于张量的方法，通过将跨节点、指标和时间的多维资源使用数据建模为三阶张量，实现对高性能计算（HPC）系统行为的监控。利用低秩张量分解计算重构误差指标，以在线检测性能异常，在TACC的Lonestar4数据中展现出与实际系统错误的强相关性。

ABSTRACT

Resource usage data, collected using tools such as TACC Stats, capture the resource utilization by nodes within a high performance computing system. We present methods to analyze the resource usage data to understand the system performance and identify performance anomalies. The core idea is to model the data as a three-way tensor corresponding to the compute nodes, usage metrics, and time. Using the reconstruction error between the original tensor and the tensor reconstructed from a low rank tensor decomposition, as a scalar performance metric, enables us to monitor the performance of the system in an online fashion. This error statistic is then used for anomaly detection that relies on the assumption that the normal/routine behavior of the system can be captured using a low rank approx- imation of the original tensor. We evaluate the performance of the algorithm using information gathered from system logs and show that the performance anomalies identified by the proposed method correlates with critical errors reported in the system logs. Results are shown for data collected for 2013 from the Lonestar4 system at the Texas Advanced Computing Center (TACC)

研究动机与目标

• 为解决传统HPC监控仅能检测强烈、孤立异常的局限性，通过分析跨节点、指标和时间的系统级相关性。
• 开发一种统一的、系统级别的性能监控方法，以捕捉多维度下细微、弱表现的异常。
• 从多维资源使用数据中生成单一、可解释的误差指标，用于在线异常检测。
• 使用TACC Lonestar4集群的真实HPC日志和系统数据验证该方法。
• 实现在问题升级前的早期检测，提升系统可靠性和运行效率。

提出的方法

• 将HPC资源使用数据建模为三阶张量，其维度为计算节点、性能指标（如CPU负载、内存）和时间。
• 应用低秩张量分解（如Tucker或CP分解）以低复杂度方式近似原始张量。
• 计算原始张量与其低秩近似之间的重构误差，作为标量性能指标。
• 将重构误差用作单变量时间序列，实时监控系统健康状态。
• 将重构误差的显著峰值识别为异常，假设正常行为下残差保持稳定。
• 通过交叉核对报告关键错误的系统消息日志，验证检测到的异常。

实验结果

研究问题

• RQ1 低秩张量分解能否有效捕捉HPC系统在节点、指标和时间维度上的正常行为？
• RQ2 张量分解的重构误差是否可作为系统性能异常的可靠指标？
• RQ3 该方法能否检测到传统基于节点或指标的阈值检测方法所遗漏的异常？
• RQ4 重构误差与日志中报告的实际系统错误的相关性如何？
• RQ5 该方法能否检测到跨越多个节点和指标的弱表现异常？

主要发现

• 在正常系统运行下，低秩张量分解的重构误差保持稳定，验证了其用作性能指标的有效性。
• 重构误差的异常峰值与消息日志中记录的系统错误（如Lustre inode故障和内核段错误）具有强相关性。
• 该方法在Lonestar4数据集中成功检测到10个不同的异常时间段，全部经系统日志确认。
• 该方法检测到了通过单节点或单指标阈值检测无法识别的异常，证明其对系统级、弱表现问题的敏感性。
• 该误差指标支持对系统健康状态随时间变化的有效可视化，有助于主动系统管理。
• 该方法在捕捉系统维度间依赖关系方面优于传统异常检测，显著降低了假阴性率。