[论文解读] PaPy: Parallel and Distributed Data-processing Pipelines in Python

Marcin Cieślik, Cameron Mura|arXiv (Cornell University)|Jul 15, 2014

Scientific Computing and Data Management参考文献 16被引用 6

一句话总结

PaPy 是一个 Python 框架，通过将用户定义的函数作为有向无环图中的节点连接，实现可扩展、并行和分布式数据处理流水线的构建。该框架通过将函数组合为嵌套的高阶映射，透明地在本地或远程资源上并行执行这些流水线，利用动态负载均衡和可配置的批处理（支持可调节的内存权衡）来优化吞吐量。

ABSTRACT

PaPy, which stands for parallel pipelines in Python, is a highly flexible framework that enables the construction of robust, scalable workflows for either generating or processing voluminous datasets. A workflow is created from user-written Python functions (nodes) connected by 'pipes' (edges) into a directed acyclic graph. These functions are arbitrarily definable, and can make use of any Python modules or external binaries. Given a user-defined topology and collection of input data, functions are composed into nested higher-order maps, which are transparently and robustly evaluated in parallel on a single computer or on remote hosts. Local and remote computational resources can be flexibly pooled and assigned to functional nodes, thereby allowing facile load-balancing and pipeline optimization to maximize computational throughput. Input items are processed by nodes in parallel, and traverse the graph in batches of adjustable size -- a trade-off between lazy-evaluation, parallelism, and memory consumption. The processing of a single item can be parallelized in a scatter/gather scheme. The simplicity and flexibility of distributed workflows using PaPy bridges the gap between desktop -> grid, enabling this new computing paradigm to be leveraged in the processing of large scientific datasets.

研究动机与目标

• 为高效处理大型科学数据集提供支持，实现从桌面计算到网格计算的无缝过渡。
• 提供一个灵活且可组合的框架，用于构建数据处理工作流，而无需进行低层级的并行编程。
• 在异构的本地和远程计算环境中支持动态负载均衡和资源池化。
• 通过允许配置批处理大小来平衡内存使用、惰性求值和并行性，从而优化性能。
• 弥合交互式桌面数据分析与高吞吐量分布式计算之间的差距，以支持科学工作负载。

提出的方法

• 工作流被建模为有向无环图（DAG），其中用户定义的 Python 函数作为节点，数据通过“管道”（边）在节点间流动。
• 函数被组合为嵌套的高阶映射抽象，以实现在单台机器或集群上的透明并行执行。
• 输入数据项以可配置的批次进行处理，以平衡内存消耗、并行性和惰性求值。
• 该框架通过聚合计算资源并根据需要动态分配给功能节点，支持本地和远程执行。
• 支持分发/聚合并行化，允许在单个处理步骤内实现细粒度并行。
• 系统通过根据拓扑结构和工作负载特征将任务分发到可用资源，自动处理容错和负载均衡。

实验结果

研究问题

• RQ1 如何通过高层级的 Python 框架实现在异构计算环境中的可扩展且容错的数据处理？
• RQ2 哪些设计模式能够实现在单一工作流抽象中本地与分布式执行的无缝集成？
• RQ3 如何调整批处理和内存使用，以在性能、并行性和资源消耗之间实现平衡？
• RQ4 在不进行低层级系统编程的情况下，函数式、声明式流水线模型在多大程度上能够支持复杂的科学数据工作流？
• RQ5 在本地和远程资源之间动态负载均衡在多大程度上能提升数据密集型工作负载的计算吞吐量？

主要发现

• PaPy 实现了在本地机器和远程主机之间透明执行数据处理流水线，而无需修改用户定义的工作流逻辑。
• 该框架通过根据资源可用性和负载情况动态分配工作负载，实现了高计算吞吐量。
• 可配置的批处理大小使用户能够调节内存消耗、并行性和惰性求值之间的权衡，大规模数据处理中观察到性能提升。
• 嵌套的高阶映射的使用实现了函数组合的高效并行化，降低了分布式执行中的开销。
• PaPy 支持流水线节点中的任意 Python 模块和外部二进制文件，确保与现有科学软件栈的广泛兼容性。
• 该框架成功弥合了桌面级数据分析与网格级工作负载之间的差距，使科学家能够以最小的架构变更扩展工作流。