[论文解读] The importance and need for system monitoring and analysis in HPC operations and research

Florina M. Ciorba|arXiv (Cornell University)|Jan 1, 2017

Distributed and Parallel Computing Systems被引用 3

一句话总结

本文倡导在高性能计算（HPC）中实施全面的系统监控与分析，以构建整体性系统模型，从而深化对软硬件交互的理解，改进系统设计，并提升HPC环境中的效率、可靠性和生产力。该方法利用大规模监控数据，实现预测性建模与运维优化。

ABSTRACT

In this work, system monitoring and analysis are discussed in terms of their significance and benefits for operations and research in the field of high-performance computing (HPC). HPC systems deliver unique insights to computational scientists from different disciplines. It is argued that research in HPC is also computational in nature, given the massive amounts of monitoring data collected at various levels of an HPC system. The vision of a comprehensive system model developed based on holistic monitoring and analysis is also presented. The goal and expected outcome of such a model is an improved understanding of the intricate interactions between today's software and hardware, and their diverse usage patterns. The associated modeling, monitoring, and analysis challenges are reviewed and discussed. The envisioned comprehensive system model will provide the ability to design future systems that are better understood before use, easier to maintain and monitor, more efficient, more reliable, and, therefore, more productive. The paper is concluded with a number of recommendations towards realizing the envisioned system model.

研究动机与目标

• 通过监控手段，深入理解软硬件交互，以应对HPC系统日益增长的复杂性。
• 通过利用全面的监控数据，改进系统设计、维护和运维效率。
• 开发一个统一的系统模型，以捕捉硬件和软件各层的多样化使用模式与系统行为。
• 通过主动监控与分析，减少系统停机时间，提升生产力。
• 在部署前，利用数据驱动的洞察指导未来HPC系统的设计与发展。

提出的方法

• 使用整体性监控框架，在硬件、软件和工作负载的所有系统层级上收集监控数据。
• 将异构的监控数据流整合到统一的系统模型中，以支持跨层级分析。
• 应用计算研究技术分析大规模监控数据，将其视为第一等的研究数据。
• 利用所得洞察建模系统行为，包括性能瓶颈和故障模式。
• 基于观测到的使用模式和故障模式，开发预测性模型，以指导系统优化。
• 提出一个全面系统模型的愿景，以支持主动的系统管理与设计。

实验结果

研究问题

• RQ1 整体性监控与分析如何提升对HPC软件与硬件之间复杂交互的理解？
• RQ2 在建模与分析大规模HPC监控数据时，面临哪些关键挑战？
• RQ3 如何利用监控数据设计出更可靠、高效且可维护的HPC系统？
• RQ4 数据驱动建模在提升系统生产力和运维性能方面发挥什么作用？
• RQ5 通过分析HPC环境中多样的使用模式，可以得出哪些系统级洞察？

主要发现

• 全面的系统监控能够构建整体性系统模型，准确捕捉复杂的软硬件交互。
• HPC研究本质上是计算性的，因为它依赖于对海量监控数据的分析。
• 所设想的系统模型可支持更优的系统设计、维护和运维效率。
• 监控与分析通过数据驱动的洞察，使HPC系统更加可靠、高效和富有生产力。
• 将监控数据整合到系统建模中，可减少系统停机时间并增强对系统的理解。
• 本文识别出在建模与分析HPC监控数据方面面临的关键挑战，必须加以解决，才能充分发挥系统建模的全部潜力。