[论文解读] On using Tracer Driver for External Dynamic Process Observation

Pierre Deransart|ArXiv.org|Jan 17, 2007

Distributed and Parallel Computing Systems被引用 3

一句话总结

本文提出了一种用于外部动态过程观测的“完整追踪”模型，其中通过在进程中注入追踪器驱动程序，广播所有潜在有用的运行时信息，该驱动程序可选择性地将数据提供给多个独立的分析器。该方法通过集中生成追踪数据并实现高效、按需的分析，减少了冗余的仪器化操作，在约束求解工作负载中通过追踪压缩和工作负载分发实现了性能提升。

ABSTRACT

One is interested here in the observation of dynamic processes starting from the traces which they leave or those that one makes them produce. It is considered here that it should be possible to make several observations simultaneously, using a large variety of independently developed analyzers. For this purpose, we introduce the original notion of ``full trace'' to capture the idea that a process can be instrumented in such a way that it may broadcast all information which could ever be requested by any kind of observer. Each analyzer can then find in the full trace the data elements which it needs. This approach uses what has been called a "tracer driver" which completes the tracer and drives it to answer the requests of the analyzers. A tracer driver allows to restrict the flow of information and makes this approach tractable. On the other side, the potential size of a full trace seems to make the idea of full trace unrealistic. In this work we explore the consequences of this notion in term of potential efficiency, by analyzing the respective workloads between the (full) tracer and many different analyzers, all being likely run in true parallel environments. To illustrate this study, we use the example of the observation of the resolution of constraints systems (proof-tree, search-tree and propagation) using sophisticated visualization tools, as developed in the project OADymPPaC (2001-2004). The processes considered here are computer programs, but we believe the approach can be extended to many other kinds of processes.

研究动机与目标

• 使多个独立的分析器能够同时观测单个动态过程，而无需冗余的仪器化操作。
• 通过引入“完整追踪”抽象来应对生成全面追踪的可扩展性挑战，该抽象捕获所有可能的观测数据。
• 评估完整追踪系统在并行执行环境中的可行性与效率，特别是在约束求解等复杂过程中的表现。
• 探索如何在追踪器、追踪器驱动程序和分析器之间分配工作负载，以最小化性能开销。
• 评估追踪压缩和通信优化在使完整追踪系统在实际应用中可行方面的作用。

提出的方法

• 引入“完整追踪”概念——即动态过程中所有状态变化和操作的全面日志，捕获所有可能对任何分析器有参考价值的数据。
• 提出追踪器驱动程序作为中间件组件，介于被仪器化的进程与外部分析器之间，对数据进行过滤并仅向分析器提供所请求的追踪元素。
• 使用完整追踪的增量式、压缩表示形式，以限制数据传输并减少开销，尤其在高吞吐量场景中效果显著。
• 采用客户端-服务器架构，分析器请求特定的追踪事件和属性，驱动程序仅返回相关数据。
• 应用追踪压缩技术，如增量属性和抽象元数据，以最小化通信带宽和处理负载。
• 使用来自 OADymPPaC 和 DiSCiPl 项目的实际约束求解工作负载对系统进行评估，这些工作负载中常见复杂且动态演变的数据结构。

实验结果

研究问题

• RQ1 在具有多个分析器的并行环境中，完整追踪在多大程度上能够被高效生成和消费？
• RQ2 追踪器、追踪器驱动程序和分析器之间的负载分配如何影响整体系统性能？
• RQ3 通过追踪压缩和追踪器驱动程序的按需数据交付，能够实现哪些性能收益？
• RQ4 在何种场景下，由于追踪数据量过大或处理开销过高，完整追踪方法会变得不切实际？
• RQ5 如何设计分析器与追踪器驱动程序之间的通信协议，以在保持分析保真度的同时最小化延迟和数据量？

主要发现

• 完整追踪概念使得多个分析器能够无需独立追踪器即可观测同一进程，显著降低了仪器化开销。
• 追踪器驱动程序有效将大部分处理成本从追踪器转移到分析器，使系统保持可扩展性和高效性。
• 即使在最坏情况——即完整追踪等同于所有独立分析器生成的缩减追踪的并集——使用追踪器驱动程序仍能通过智能过滤实现显著的性能优势。
• 性能瓶颈更多源于分析器而非追踪器，尤其是在处理复杂、大规模追踪数据时。
• 追踪压缩技术，包括增量属性和抽象元数据，显著减少了通信开销并提升了系统响应速度。
• 对追踪语义的理解仍是挑战，尤其在复杂或非确定性系统中，因为其形式化语义通常无法预先获得。