[论文解读] Transparently Capturing Request Execution Path for Anomaly Detection

Yong Yang, Long Wang+2 more|arXiv (Cornell University)|Jan 20, 2020

Software System Performance and Reliability参考文献 24被引用 5

一句话总结

本文提出 REPTrace，一种透明且低开销的方法，用于在分布式云和大数据系统中捕获端到端请求执行路径。通过分析多种执行场景并应用合理的追踪算法，REPTrace 实现了 96% 的召回率，准确检测异常，同时在四个生产级平台上实现极低延迟和可忽略的网络开销。

ABSTRACT

With the increasing scale and complexity of cloud systems and big data analytics platforms, it is becoming more and more challenging to understand and diagnose the processing of a service request in such distributed platforms. One way that helps to deal with this problem is to capture the complete end-to-end execution path of service requests among all involved components accurately. This paper presents REPTrace, a generic methodology for capturing such execution paths in a transparent fashion. We analyze a comprehensive list of execution scenarios, and propose principles and algorithms for generating the end-to-end request execution path for all the scenarios. Moreover, this paper presents an anomaly detection approach exploiting request execution paths to detect anomalies of the execution during request processing. The experiments on four popular distributed platforms with different workloads show that REPTrace can transparently capture the accurate request execution path with reasonable latency and negligible network overhead. Fault injection experiments show that execution anomalies are detected with high recall (96%).

研究动机与目标

• 为应对在大规模、复杂分布式系统中诊断服务请求处理日益增长的挑战。
• 实现在分布式平台所有组件间对请求执行路径的准确、端到端跟踪。
• 开发一种透明的追踪机制，对性能开销最小化。
• 通过分析请求执行路径检测执行异常。
• 在多种分布式平台和工作负载上验证该方法。

提出的方法

• REPTrace 采用通用方法，捕获分布式系统中所有组件的完整请求执行路径。
• 其定义了针对包括分支、循环和并发处理在内的多种执行场景的原理与算法。
• 该方法使用轻量级插桩和上下文传播，以在不修改应用逻辑的情况下保持追踪的完整性。
• 它利用优化的数据收集与聚合的分布式追踪技术，以最小化网络和 CPU 开销。
• 通过使用统计和基于模式的模型分析捕获的执行路径中的偏差，实现异常检测。
• 该系统设计为透明，无需对现有服务或组件进行任何修改。

实验结果

研究问题

• RQ1 如何在复杂分布式系统中准确且透明地捕获端到端请求执行路径？
• RQ2 需要哪些原理和算法来处理跨多个组件的多样化执行场景？
• RQ3 请求执行路径能否有效用于高召回率的运行时异常检测？
• RQ4 所提出的追踪机制在真实世界分布式平台中的性能开销如何？
• RQ5 在故障注入和不同工作负载下，异常检测机制的表现如何？

主要发现

• REPTrace 在四个主流分布式平台上成功捕获了准确的端到端请求执行路径，网络和 CPU 开销可忽略不计。
• 该系统延迟极低，适用于实时环境中的生产部署。
• 故障注入实验表明，利用捕获的路径检测执行异常的召回率达到 96%。
• 该方法具有透明性，无需对现有服务或组件进行任何修改。
• 该方法在不同工作负载和系统架构（包括云和大数据平台）中具有良好泛化能力。
• 异常检测机制能有效识别执行流程中的偏差，实现早期故障诊断。