[论文解读] Spinning Fast Iterative Data Flows

Stephan Ewen, Kostas Tzoumas+2 more|arXiv (Cornell University)|Aug 1, 2012

Parallel Computing and Optimization Techniques参考文献 22被引用 4

一句话总结

本文提出将增量迭代（incremental iterations）作为并行数据流系统的扩展，通过利用可变状态和基于工作集的更新机制，实现对具有稀疏计算依赖关系的迭代算法（如图算法）的高效执行。评估结果表明，与批量迭代相比，性能最高可提升两个数量级，使数据流系统在保持统一抽象的同时，具备与专用框架相媲美的性能。

ABSTRACT

Parallel dataflow systems are a central part of most analytic pipelines for big data. The iterative nature of many analysis and machine learning algorithms, however, is still a challenge for current systems. While certain types of bulk iterative algorithms are supported by novel dataflow frameworks, these systems cannot exploit computational dependencies present in many algorithms, such as graph algorithms. As a result, these algorithms are inefficiently executed and have led to specialized systems based on other paradigms, such as message passing or shared memory. We propose a method to integrate incremental iterations, a form of workset iterations, with parallel dataflows. After showing how to integrate bulk iterations into a dataflow system and its optimizer, we present an extension to the programming model for incremental iterations. The extension alleviates for the lack of mutable state in dataflows and allows for exploiting the sparse computational dependencies inherent in many iterative algorithms. The evaluation of a prototypical implementation shows that those aspects lead to up to two orders of magnitude speedup in algorithm runtime, when exploited. In our experiments, the improved dataflow system is highly competitive with specialized systems while maintaining a transparent and unified dataflow abstraction.

研究动机与目标

• 解决现有数据流系统在执行具有稀疏计算依赖关系的迭代算法时效率低下的问题。
• 使数据流系统能够高效支持图处理和机器学习等通过增量方式演化状态的算法。
• 统一通用数据流编程与Pregel和GraphLab等专用迭代系统所具备的性能优势。
• 通过引入可变状态和工作集语义，扩展数据流抽象以支持增量计算。
• 证明数据流系统可在不牺牲表达能力或透明性的情况下，达到专用系统的性能水平。

提出的方法

• 扩展数据流系统以支持增量迭代，其中每次迭代仅通过一个包含已更改元素的工作集来更新状态的变更部分。
• 引入一种编程模型，将状态修改与消息传递分离，从而实现对更新的细粒度控制。
• 采用基于工作集的方法，仅追踪每次迭代中需要处理的元素，从而减少冗余计算。
• 使用数据流优化器将操作下推，最小化迭代之间的数据移动。
• 在明确定义的条件下支持异步微步执行，从而加快稀疏算法的收敛速度。
• 在Stratosphere（一个并行数据流系统）中实现该方法，并将增量迭代编译为优化后的数据流计划。

实验结果

研究问题

• RQ1 能否在通用数据流系统中高效集成增量迭代，以提升具有稀疏依赖关系算法的性能？
• RQ2 数据流系统在多大程度上可以利用图和机器学习算法中固有的稀疏计算依赖关系？
• RQ3 集成增量迭代后的数据流系统在性能上与Pregel或GraphLab等专用系统相比如何？
• RQ4 统一的数据流抽象能否在保持表达能力的同时，为迭代工作负载提供优化能力？
• RQ5 在何种条件下，可安全且高效地在数据流系统中应用异步微步执行？

主要发现

• 所提出的增量迭代模型在具有稀疏依赖关系的算法上，相较于数据流系统中的批量迭代，性能最高可提升两个数量级。
• 在Stratosphere中实现的原型系统在PageRank和连通分量等图算法上的性能，可与Pregel和GraphLab等专用系统相媲美。
• 增量迭代的集成使数据流系统能够比Pregel更自然地表达复杂算法（如自适应PageRank），后者将激活与消息传递紧密耦合。
• 系统在明确定义的条件下支持异步微步执行，实现更快收敛，且无同步瓶颈。
• 该方法保持了统一的数据流抽象，减少了在分析管道中对多个系统和编编排框架的需求。
• 编译技术可能将完整的迭代算法转换为增量形式，暗示了进一步的优化潜力。