[论文解读] Thrill: High-Performance Algorithmic Distributed Batch Data Processing with C++

Timo Bingmann, Michael Axtmann+8 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2016

Cloud Computing and Resource Management参考文献 18被引用 9

一句话总结

Thrill 是一个基于 C++ 的高性能分布式批处理数据处理框架，通过模板元编程和基于数组的数据结构实现低延迟、缓存友好的执行。它在标准基准测试中相比 Apache Spark 和 Flink 的性能最高可提升数倍，同时保持高层次、函数式编程接口，且抽象开销极低。

ABSTRACT

We present the design and a first performance evaluation of Thrill -- a prototype of a general purpose big data processing framework with a convenient data-flow style programming interface. Thrill is somewhat similar to Apache Spark and Apache Flink with at least two main differences. First, Thrill is based on C++ which enables performance advantages due to direct native code compilation, a more cache-friendly memory layout, and explicit memory management. In particular, Thrill uses template meta-programming to compile chains of subsequent local operations into a single binary routine without intermediate buffering and with minimal indirections. Second, Thrill uses arrays rather than multisets as its primary data structure which enables additional operations like sorting, prefix sums, window scans, or combining corresponding fields of several arrays (zipping). We compare Thrill with Apache Spark and Apache Flink using five kernels from the HiBench suite. Thrill is consistently faster and often several times faster than the other frameworks. At the same time, the source codes have a similar level of simplicity and abstraction

研究动机与目标

• 弥合手写优化的 HPC 系统与 Spark 和 Flink 等高层级大数据框架之间的性能差距。
• 在 C++ 中实现高性能、可扩展的数据处理，抽象开销极低，并具备显式的内存控制能力。
• 探究 C++ 是否能在分布式数据处理中同时实现高层级表达能力和底层性能。
• 评估使用 C++ 作为 JVM 基础框架在大规模数据工作负载中的可行性替代方案。

提出的方法

• 使用 C++14 与模板元编程，将本地操作链编译为单个优化后的例程，消除中间缓冲并减少间接寻址。
• 以数组作为主要数据结构，而非多重集合，支持排序、前缀和、窗口扫描以及多个数组的合并操作。
• 通过模板实现零开销抽象和用户自定义函数（UDF）实例化，以支持通用、类型安全的操作。
• 重叠计算与通信，并使用经过二进制优化的机器码以最小化运行时开销。
• 依赖引用计数进行内存管理，以减少垃圾回收开销，同时保持高性能。
• 以批量同步、集体式方式执行，类似于 MPI，支持内存内处理和外部内存处理。

实验结果

研究问题

• RQ1 基于 C++ 的框架是否能在保持高层级编程接口的同时，实现超越 JVM 基础框架（如 Spark 和 Flink）的性能？
• RQ2 模板元编程和基于数组的数据结构在分布式批处理中对性能的提升程度如何？
• RQ3 在大数据工作负载中，C++ 中的显式内存管理与 JVM 系统中的垃圾回收相比，表现如何？
• RQ4 CPU 利用率和网络带宽对分布式数据处理框架性能的影响是什么？
• RQ5 C++ 库是否可以作为高性能、可扩展数据处理的可行基础，而不会牺牲开发人员的生产力？

主要发现

• 在 16 台主机的 KMeans 基准测试中，Thrill 相较 Spark（Scala）最高实现 4.1 倍的加速，相较 Flink 加速超过 50 倍。
• 在 TeraSort 基准测试中，Thrill 相较 Spark（Java）实现 3.5 倍的加速，相较 Flink 实现 10 倍的加速，且 CPU 利用率显著更高（50% vs. Spark 的 27%）。
• 在 KMeans 测试中，Thrill 的网络利用率达到了 25%，而 Spark 仅为 7%，表明通信效率更高。
• 框架的启动时间低于 1 秒，远快于 Spark 的 5 + 0.4 小时和 Flink 的较低但依然显著的启动时间。
• 在 KMeans 测试中，Thrill 的 CPU 利用率达到 50%，表明计算资源被高效利用，而 Spark 和 Flink 的利用率则低得多。
• Thrill 的性能优势归因于减少的对象开销、高效的内存布局以及通过模板元编程实现的编译时优化。