[论文解读] Tupleware: Redefining Modern Analytics

Andrew Crotty, Alex Galakatos+4 more|arXiv (Cornell University)|Jun 25, 2014

Parallel Computing and Optimization Techniques参考文献 26被引用 13

一句话总结

Tupleware 是一种专为小型至中型集群（数个到数十个节点）的典型用户设计的新型分析系统，通过协同设计数据、计算与硬件感知优化，重新定义现代分析。它将用户定义的函数编译为高度优化、自包含的基于 LLVM 的分布式可执行文件，在常见机器学习工作负载上，性能相比 Spark 和 Hadoop 最高提升 6000 倍。

ABSTRACT

There is a fundamental discrepancy between the targeted and actual users of current analytics frameworks. Most systems are designed for the data and infrastructure of the Googles and Facebooks of the world---petabytes of data distributed across large cloud deployments consisting of thousands of cheap commodity machines. Yet, the vast majority of users operate clusters ranging from a few to a few dozen nodes, analyze relatively small datasets of up to a few terabytes, and perform primarily compute-intensive operations. Targeting these users fundamentally changes the way we should build analytics systems. This paper describes the design of Tupleware, a new system specifically aimed at the challenges faced by the typical user. Tupleware's architecture brings together ideas from the database, compiler, and programming languages communities to create a powerful end-to-end solution for data analysis. We propose novel techniques that consider the data, computations, and hardware together to achieve maximum performance on a case-by-case basis. Our experimental evaluation quantifies the impact of our novel techniques and shows orders of magnitude performance improvement over alternative systems.

研究动机与目标

• 解决当前分析框架（专为 PB 级云部署设计）与大多数用户实际使用的小型集群（TB 级数据）之间的不匹配问题。
• 通过协同设计编程模型、编译管道和部署架构，在典型硬件上实现高性能内存分析。
• 提供一种与语言无关、基于函数式编程的前端，支持具有共享状态和迭代的复杂工作流，同时支持深层次的低级别优化。
• 通过生成高度调优、硬件感知的分布式可执行文件，弥合通用框架与手写优化系统之间的性能差距。
• 证明针对小型集群进行定制化优化，可实现相比 Spark 和 Hadoop 等现有系统数量级的性能提升。

提出的方法

• Tupleware 使用基于 Monad 的函数式编程模型，通过 LLVM 编译框架以语言无关的方式表达复杂且可组合的工作流。
• 采用三层架构：用于工作流定义的前端、用于计划优化和代码生成的程序合成层，以及用于在集群上执行的部署层。
• 函数分析器提取 UDF 统计信息以指导优化决策，而规划器则生成包含高级优化的抽象执行计划。
• 代码生成器通过应用特定于案例的低级别优化（包括 SIMD 向量化和内存带宽感知的代码生成），生成自包含的分布式可执行文件。
• Tupleware 的部署架构采用多层线程模型、专用任务分配和优化的内存管理，以减少开销并改善负载均衡。
• 它利用 LLVM 生成高度优化的机器码，可自适应底层硬件特性，如向量单元和缓存层次结构。

实验结果

研究问题

• RQ1 如何重新设计分析系统，使其更好地服务于小型集群用户，而非大规模云部署？
• RQ2 协同设计数据、计算与硬件在分布式分析中能带来多大程度的性能提升？
• RQ3 与语言无关、基于函数式编程的前端是否能在数据分析中同时实现表达力和深层优化潜力？
• RQ4 在分布式环境中，对用户定义函数应用特定于案例的低级别优化，可实现多大的性能提升？
• RQ5 在复杂分析工作负载中，硬件感知代码生成策略与传统查询编译或基于 SQL 的优化相比有何表现？

主要发现

• Tupleware 在常见机器学习工作负载上，相比 Spark 和 Hadoop 最高实现 6000× 的性能提升，基准测试中中位数提升达 10–100×。
• 该系统表明，针对小型集群进行硬件感知编译，相比通用框架可实现数量级的性能提升。
• 特定于案例的优化（包括 SIMD 向量化和内存带宽感知的代码生成）显著优于 HyPer 和 VectorWise 等系统所采用的通用优化策略。
• 基于 Monad 的函数式编程模型能够简洁表达复杂工作流，同时保持强大的优化潜力，而无需像其他系统那样依赖驱动程序来实现迭代。
• Tupleware 的部署架构通过专用线程分配和高效的内存管理，降低了运行时开销，在性能上优于 Spark 和 Stratosphere 的基于迭代器的模型。
• 实验表明，即使在数据量仅几 TB 的工作负载下，硬件感知编译仍能带来显著性能增益，挑战了此类优化仅对大规模系统有意义的假设。