[论文解读] Systematic analysis of cluster computing log data: the case of IBM BlueGene/Q

Alia Sîrbu, Özalp Babaoğlu|arXiv (Cornell University)|Oct 16, 2014

Cloud Computing and Resource Management参考文献 10被引用 1

一句话总结

本研究对IBM Blue Gene/Q系统中的异构日志数据（包括功耗、温度、工作负载及硬件/软件事件）进行了系统性、多尺度分析，以识别组件间的相关性模式。研究发现功耗与温度之间的跨组件相关性较低，事件相关性较高，工作负载与功耗之间的关联性中等，为高性能计算（HPC）基础设施管理中的预测建模提供了基础。

ABSTRACT

The complexity and cost of managing high-performance computing infrastructures are on the rise. Automating management and repair through predictive models to minimize human interventions is an attempt to increase system availability and contain these costs. Building predictive models that are accurate enough to be useful in automatic management cannot be based on restricted log data from subsystems but requires a holistic approach to data analysis from disparate sources. Here we provide a detailed multi-scale characterization study based on four datasets reporting power consumption, temperature, workload, and hardware/software events for an IBM Blue Gene/Q installation. We show that the system runs a rich parallel workload, with low correlation among its components in terms of temperature and power, but higher correlation in terms of events. As expected, power and temperature correlate strongly, while events display negative correlations with load and power. Power and workload show moderate correlations, and only at the scale of components. The aim of the study is a systematic, integrated characterization of the computing infrastructure and discovery of correlation sources and levels to serve as basis for future predictive modeling efforts.

研究动机与目标

• 通过自动化、预测性维护应对高性能计算（HPC）基础设施管理日益增加的复杂性与成本。
• 通过采用整体化、集成化数据方法，克服子系统级别日志分析的局限性，实现准确的预测建模。
• 表征真实世界Blue Gene/Q部署中功耗、温度、工作负载与系统事件之间的相互依赖关系。
• 识别多尺度下的相关性结构，以支持未来可靠预测模型在系统可用性与故障预防方面的开发。

提出的方法

• 收集并分析来自实际运行的IBM Blue Gene/Q系统的四类独立数据集：功耗、温度读数、工作负载指标以及硬件/软件事件。
• 执行多尺度分析，以评估不同系统组件和时间粒度下的相关性。
• 使用统计相关性分析量化功耗、温度、工作负载与事件频率之间的关系。
• 采用整体化数据集成方法，避免子系统分析的孤岛问题，实现跨组件洞察。
• 聚焦于识别正相关与负相关，以理解系统在不同负载下的行为。
• 通过组件级与系统级聚合，评估相关性模式随尺度变化的情况。

实验结果

研究问题

• RQ1 在类似IBM Blue Gene/Q的大规模HPC系统中，功耗与温度在不同组件之间如何相关？
• RQ2 在不同尺度下，系统工作负载与功耗之间存在何种关系？
• RQ3 硬件与软件事件与功耗、温度及工作负载水平之间存在何种相关性？
• RQ4 当在统一框架下分析来自多个来源的异构日志数据时，会浮现何种相关性模式？
• RQ5 在HPC基础设施日志中，组件级相关性与系统级趋势之间的差异程度如何？

主要发现

• 由于计算活动导致的热耗散，功耗与温度在各组件之间表现出强烈的正相关性，符合预期。
• 功耗与工作负载之间表现出中等程度的相关性，但仅在组件级别可观测到，而非在整个系统范围内。
• 硬件与软件事件与负载及功耗均呈现负相关，表明在更高利用率下事件频率降低。
• 温度与功耗的跨组件相关性较低，表明系统中热行为与能耗行为存在空间差异性。
• 事件数据在各组件之间的内部相关性高于功耗或温度，表明存在协调或同步的故障或日志记录模式。
• 本研究识别出不同尺度下存在明显不同的相关性结构，强调了在预测性系统管理中采用多尺度建模的必要性。