[论文解读] Towards Runtime Verification via Event Stream Processing in Cloud Computing Infrastructures

Domenico Cotroneo, Luigi De Simone+3 more|arXiv (Cornell University)|Oct 13, 2020

Software System Performance and Reliability参考文献 35被引用 2

一句话总结

本文提出了一种轻量级、非侵入式的运行时验证方法，利用事件流处理技术实现实时故障检测。通过挖掘正确系统行为以生成监控规则，该方法在 OpenStack 中实现了 79.38% 的故障检测覆盖率，显著优于原生 API 错误报告，尤其在检测无声故障方面表现突出。

ABSTRACT

Software bugs in cloud management systems often cause erratic behavior, hindering detection, and recovery of failures. As a consequence, the failures are not timely detected and notified, and can silently propagate through the system. To face these issues, we propose a lightweight approach to runtime verification, for monitoring and failure detection of cloud computing systems. We performed a preliminary evaluation of the proposed approach in the OpenStack cloud management platform, an "off-the-shelf" distributed system, showing that the approach can be applied with high failure detection coverage.

研究动机与目标

• 为解决云管理系统的无声故障问题，即错误导致未被检测到且持续传播的故障。
• 提升复杂、'即插即用'型云平台（如 OpenStack）中的故障检测能力，因为传统监控机制常无法报告错误。
• 开发一种非侵入式、轻量级的监控解决方案，无需深入了解系统内部机制。
• 通过在真实云平台中进行故障注入实验，评估该方法的可行性与有效性。

提出的方法

• 该方法利用对系统操作的非侵入式事件追踪，捕获正常行为下的执行轨迹。
• 从正确的执行轨迹中自动合成监控规则，以编码期望的系统行为。
• 规则以逻辑谓词形式表达，并在运行时监控器中实现，实时处理事件流。
• 监控器检测到指定行为属性的违反时，会触发及时告警，实现故障检测。
• 通过在 OpenStack 中进行故障注入实验评估该方法，故障检测覆盖率基于断言检查结果作为真实情况。
• 通过交错多个轨迹的事件流，模拟多用户场景，以评估在并发环境下的鲁棒性。

实验结果

研究问题

• RQ1 轻量级、非侵入式的运行时验证方法能否在复杂、即插即用型云平台（如 OpenStack）中检测故障？
• RQ2 所提方法的故障检测覆盖率与 OpenStack 原生 API 错误报告相比如何？
• RQ3 该方法能否检测无声故障——即未通过 API 错误或日志报告的故障——这类故障在云管理系统中较为常见？
• RQ4 该方法在并发、多用户工作负载下的有效性如何？
• RQ5 在真实场景中，轨迹交错对故障检测准确性有何影响？

主要发现

• 所提运行时验证方法在 481 次故障注入实验中实现了 79.38% 的故障检测覆盖率（FDC），显著优于 OpenStack 原生 API 错误报告的平均 FDC 23.96%。
• 在实例创建过程中检测到 90.96% 的故障，SSH 连接尝试中检测到 38.46% 的故障，而 OpenStack 在这些情况下完全未报告任何错误。
• 在卷挂载故障方面，该方法实现了 92.00% 的 FDC，表明其对复杂操作具有强大的检测能力。
• 在模拟的多用户场景中，平均 FDC 为 37.78%，尽管标准差较高（±13.88%），表明其对轨迹顺序和并发模式较为敏感。
• 该方法在检测无声故障方面表现尤为突出，特别是在实例创建和 SSH 连接过程中，这些场景中未生成任何 API 错误。
• 结果表明，针对特定操作（如卷创建）的监控规则仍需进一步优化，因为其检测覆盖率仅为 28.57%。