[论文解读] PerfXplain: Debugging MapReduce Job Performance

Nodira Khoussainova, Magdalena Bałazińska+1 more|arXiv (Cornell University)|Mar 29, 2012

Data Quality and Management参考文献 26被引用 4

一句话总结

PerfXplain 是一个帮助非专家用户调试 MapReduce 作业性能的系统，通过生成人类可读的解释来说明作业对之间的性能差异。它使用查询语言（PXQL）和执行日志上的机器学习技术，生成具有高相关性、精确性和通用性的解释，在 AWS EC2 日志的实验中优于简单的基线方法。

ABSTRACT

While users today have access to many tools that assist in performing large scale data analysis tasks, understanding the performance characteristics of their parallel computations, such as MapReduce jobs, remains difficult. We present PerfXplain, a system that enables users to ask questions about the relative performances (i.e., runtimes) of pairs of MapReduce jobs. PerfXplain provides a new query language for articulating performance queries and an algorithm for generating explanations from a log of past MapReduce job executions. We formally define the notion of an explanation together with three metrics, relevance, precision, and generality, that measure explanation quality. We present the explanation-generation algorithm based on techniques related to decision-tree building. We evaluate the approach on a log of past executions on Amazon EC2, and show that our approach can generate quality explanations, outperforming two naive explanation-generation methods.

研究动机与目标

• 解决非专家用户在调试 MapReduce 作业性能问题方面的挑战。
• 使用户能够针对作业对或任务对提出比较性性能问题。
• 为性能异常生成高质量、人类可理解的解释。
• 通过相关性、精确性和通用性指标形式化解释质量。
• 开发一种可扩展的、基于日志的解释生成算法，且用户输入需求最小化。

提出的方法

• 使用自定义查询语言 PerfXplain 查询语言（PXQL）来指定比较性性能问题。
• 将每个作业或任务执行表示为配置和性能指标的特征向量。
• 应用类似于决策树归纳的机器学习技术，从历史执行日志中挖掘解释。
• 将解释生成为两个谓词：'despite' 子句（预期行为背景）和 'because' 子句（观察到的偏差解释）。
• 使用三个指标优化解释质量：相关性（上下文匹配度）、精确性（解释准确性）和通用性（在类似情况下的适用性）。
• 利用过往执行日志识别正样本（预期行为）和负样本（意外行为）对用于训练。

实验结果

研究问题

• RQ1 用户如何在无需专家系统知识的情况下，有效提出并回答关于 MapReduce 作业的比较性性能问题？
• RQ2 什么样的解释可被视为性能差异的高质量解释？
• RQ3 如何使用相关性、精确性和通用性指标正式衡量并优化解释质量？
• RQ4 能否从日志数据中使用机器学习技术生成优于简单启发式方法的解释？
• RQ5 该方法在多大程度上可推广到 MapReduce 之外的其他并行数据处理系统？

主要发现

• 在真实 AWS EC2 日志上的评估表明，PerfXplain 生成的解释在相关性、精确性和通用性方面均优于两种简单基线方法。
• 该系统的解释生成算法能有效识别上下文因素（despite 子句）和根本原因（because 子句）以解释性能偏差。
• 特征向量的使用使该方法能够推广到 MapReduce 之外的其他并行处理系统。
• 相关性、精确性和通用性的正式指标为评估和改进解释质量提供了系统化方法。
• 实验表明，PerfXplain 的解释不仅准确，而且对非专家用户具有意义且可操作。