[论文解读] Unicorn: Reasoning about Configurable System Performance through the lens of Causality

Md Shahriar Iqbal, Rahul Krishna+3 more|arXiv (Cornell University)|Jan 20, 2022

Software System Performance and Reliability被引用 4

一句话总结

Unicorn 提出了一种基于因果推断的方法论，用于对高度可配置系统中的性能进行建模与推理，通过捕捉软硬件配置之间的复杂交互，克服了传统机器学习模型在性能建模中的局限性。该方法在性能调试与优化方面优于当前最先进的技术，通过因果结构学习与反事实推理，能够可靠地预测未见过环境中的系统行为。

ABSTRACT

Modern computer systems are highly configurable, with the total variability space sometimes larger than the number of atoms in the universe. Understanding and reasoning about the performance behavior of highly configurable systems, over a vast and variable space, is challenging. State-of-the-art methods for performance modeling and analyses rely on predictive machine learning models, therefore, they become (i) unreliable in unseen environments (e.g., different hardware, workloads), and (ii) may produce incorrect explanations. To tackle this, we propose a new method, called Unicorn, which (i) captures intricate interactions between configuration options across the software-hardware stack and (ii) describes how such interactions can impact performance variations via causal inference. We evaluated Unicorn on six highly configurable systems, including three on-device machine learning systems, a video encoder, a database management system, and a data analytics pipeline. The experimental results indicate that Unicorn outperforms state-of-the-art performance debugging and optimization methods in finding effective repairs for performance faults and finding configurations with near-optimal performance. Further, unlike the existing methods, the learned causal performance models reliably predict performance for new environments.

研究动机与目标

• 解决在具有庞大组合配置空间的高度可配置系统中进行性能推理的挑战。
• 克服现有基于机器学习的性能模型的局限性，这些模型在未见环境中不可靠，且由于基于相关性的推理而提供错误的解释。
• 通过建模配置选项与系统行为之间的因果交互，实现准确的性能调试与优化。
• 通过恢复因果结构，支持可靠的反事实推理，用于配置修复与调优。
• 通过因果效应估计识别高影响力配置变更，减少对试错法的依赖。

提出的方法

• Unicorn 使用因果发现技术从性能数据中恢复底层因果结构，建模软件与硬件配置选项之间的交互。
• 应用 do-演算符号，如 $\mathbb{E}[Z~{}|~{}\mathit{do}(X=x)]$，以估计配置变更对性能结果的平均因果效应（ACE）。
• 根据其对延迟和能耗的平均因果效应，对因果路径（从配置选项到非功能性属性的有向路径）进行排序。
• 使用主动学习迭代选择下一个要测量的配置，优先选择因果效应估计值较高的选项，以最大化信息增益。
• 通过从性能指标回溯到根配置节点的方式提取因果路径，聚焦于高影响力路径以支持故障诊断。
• 该框架集成反事实推理，用于模拟“如果……会怎样”的情景，从而实现有效的性能故障修复。

实验结果

研究问题

• RQ1 与基于相关性的机器学习模型相比，因果推断能否提升在高度可配置系统中的性能预测能力？
• RQ2 因果模型在多种配置下识别性能退化根本原因的效率如何？
• RQ3 Unicorn 在未见硬件与工作负载环境中的泛化能力如何？
• RQ4 因果路径排序与主动学习在多大程度上能加速性能调试与优化？
• RQ5 Unicorn 在寻找近似最优配置与修复性能故障方面，与当前最先进的方法相比表现如何？

主要发现

• Unicorn 在六种真实世界系统（包括设备端机器学习系统与数据库）中，均优于当前最先进的方法，成功识别出性能故障的有效修复方案。
• 在 Jetson TX2 的一次真实性能问题中，Unicorn 通过因果路径分析识别出根本原因，将故障排查时间从 2 天缩短至 22 分钟。
• 与默认配置相比，因果模型实现了 7 倍的延迟加速；在使用最优配置时，性能相比基线提升了 5.75 倍。
• Unicorn 能够可靠预测新环境中的性能表现，而基于相关性的模型在分布偏移下会失效。
• 通过识别 CUDA_STATIC 与 vm.swappiness 的最优值，Unicorn 实现了缓存未命中次数减少 55% 以及系统稳定性提升 1%。
• 因果路径排序实现了高效的故障定位，排名第一的路径解释了吞吐量与能耗 55% 的方差。