[论文解读] PyRCA: A Library for Metric-based Root Cause Analysis

Chenghao Liu, Wenzhuo Yang+4 more|arXiv (Cornell University)|Jun 20, 2023

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

PyRCA 是一个开源的 Python 库，为 AIOps 中基于指标的根因分析（RCA）提供端到端框架，集成因果发现、根因评分和交互式可视化。它通过统一接口支持多种 RCA 模型，结合专家知识提升结果质量，并包含一个 GUI 仪表板，便于直观地进行模型调优与验证，在基准数据集上实现了最先进性能。

ABSTRACT

We introduce PyRCA, an open-source Python machine learning library of Root Cause Analysis (RCA) for Artificial Intelligence for IT Operations (AIOps). It provides a holistic framework to uncover the complicated metric causal dependencies and automatically locate root causes of incidents. It offers a unified interface for multiple commonly used RCA models, encompassing both graph construction and scoring tasks. This library aims to provide IT operations staff, data scientists, and researchers a one-step solution to rapid model development, model evaluation and deployment to online applications. In particular, our library includes various causal discovery methods to support causal graph construction, and multiple types of root cause scoring methods inspired by Bayesian analysis, graph analysis and causal analysis, etc. Our GUI dashboard offers practitioners an intuitive point-and-click interface, empowering them to easily inject expert knowledge through human interaction. With the ability to visualize causal graphs and the root cause of incidents, practitioners can quickly gain insights and improve their workflow efficiency. This technical report introduces PyRCA's architecture and major functionalities, while also presenting benchmark performance numbers in comparison to various baseline models. Additionally, we demonstrate PyRCA's capabilities through several example use cases.

研究动机与目标

• 为解决云环境和 IT 运维环境中缺乏统一、开源的端到端根因分析（RCA）工具链的问题。
• 提供一个标准化、可扩展的框架，用于加载指标数据、构建因果图，并在多种 RCA 模型间实现根因评分。
• 通过交互式 GUI 仪表板集成专家知识，提升 RCA 的准确性和易用性。
• 支持快速的模型开发、评估与部署，服务于工业界和学术界用户。
• 通过简单的类继承接口，支持用户轻松实现新的 RCA 模型，提升可扩展性。

提出的方法

• PyRCA 使用统一接口集成多种因果发现算法（如 PC 和 GES），从时间序列指标数据中构建因果图。
• 实现多种受贝叶斯分析、图分析和因果推断启发的根因评分模型，如假设检验（HT）、随机游走和 RCD。
• 支持通过 pandas.DataFrame 加载数据，并内置基于统计的异常检测器，用于识别指标突增。
• 交互式 GUI 仪表板支持用户上传数据、可视化指标、通过领域约束（如根节点/叶节点、必选/禁止链接）优化因果图，并可视化比较不同模型。
• 用户可通过 YAML 格式的领域知识文件注入专家知识，以纠正或引导因果图构建，提升在噪声数据上的鲁棒性。
• 框架支持基于定量指标（如 F1 分数）的模型基准测试，以及 RCA 结果的定性可视化。

实验结果

研究问题

• RQ1 一个统一的开源库在多大程度上能简化真实 AIOps 流水线中 RCA 模型的开发、评估与部署？
• RQ2 在从指标数据构建准确因果图方面，不同因果发现算法（如 PC 与 GES）的性能如何？
• RQ3 通过 GUI 仪表板集成专家提供的领域知识，能在多大程度上提升因果图构建和根因定位的准确性？
• RQ4 在基准场景中，假设检验（HT）相比其他根因评分模型是否具有显著优势？
• RQ5 交互式 GUI 仪表板是否能在无需编码的情况下提升易用性和模型验证效率？

主要发现

• 假设检验（HT）方法在模拟数据集上取得了 0.85 ± 0.12 的最高 F1 分数，显著优于其他基线方法。
• 在模拟数据集上，PC 算法在因果图构建方面优于 GES，其图准确性 F1 分数更高。
• 以真实因果图为输入可提升两阶段 RCA 模型的性能，凸显准确图构建的重要性。
• 通过 GUI 仪表板集成专家知识，使用户能够纠正因果图中的错误链接，显著提升在噪声数据上的模型可靠性。
• PyRCA 的 GUI 仪表板使非编程用户能够交互式地优化因果图并比较模型输出，显著提升工作流效率。
• 该库展现出强大的可扩展性，开发者仅需通过继承基类即可用极少代码添加新的 RCA 模型。