[论文解读] Optimizing ETL Dataflow Using Shared Caching and Parallelization Methods

Xiufeng Liu|arXiv (Cornell University)|Sep 5, 2014

Advanced Data Storage Technologies参考文献 14被引用 3

一句话总结

本文提出了一种框架，通过共享缓存和细粒度并行化（流水线处理和多线程）来优化ETL数据流。通过将ETL组件分类为行同步、半块和块类型，该框架对数据流进行分区，并应用共享缓存以减少内存占用和数据复制开销，实验结果显示相比标准ETL实现了4.7倍的加速，且优于Kettle的表现。

ABSTRACT

Extract-Transform-Load (ETL) handles large amount of data and manages workload through dataflows. ETL dataflows are widely regarded as complex and expensive operations in terms of time and system resources. In order to minimize the time and the resources required by ETL dataflows, this paper presents a framework to optimize dataflows using shared cache and parallelization techniques. The framework classifies the components in an ETL dataflow into different categories based on their data operation properties. The framework then partitions the dataflow based on the classification at different granularities. Furthermore, the framework applies optimization techniques such as cache re-using, pipelining and multi-threading to the already-partitioned dataflows. The proposed techniques reduce system memory footprint and the frequency of copying data between different components, and also take full advantage of the computing power of multi-core processors. The experimental results show that the proposed optimization framework is 4.7 times faster than the ordinary ETL dataflows (without using the proposed optimization techniques), and outperforms the similar tool (Kettle).

研究动机与目标

• 提升数据仓库中ETL数据流的性能，因为大规模ETL流程通常需要数小时甚至数天。
• 解决传统ETL系统依赖组件间昂贵数据复制且未能充分利用多核处理器效率的问题。
• 开发一种透明、可重用的优化框架，提升性能而不需改变BI开发人员的工作流程。
• 最小化ETL流水线中重复数据复制带来的内存占用和CPU开销。
• 通过流水线处理和多线程技术，在多个粒度级别（子集级和组件级）实现高效的并行化。

提出的方法

• 根据数据处理特性，将ETL组件划分为三类：行同步、半块和块组件。
• 设计一种数据流分区算法，按类别和粒度对组件进行分组，以实现针对性优化。
• 实现一种共享缓存机制，允许多个组件访问同一内存缓存，从而减少冗余数据副本和内存使用。
• 在执行树内部应用流水线处理，并在组件之间使用多线程技术，以充分利用多核处理器的能力。
• 开发一种基于成本的公式和算法，用于高效估算最优并行度（流水线深度）以实现性能调优。
• 在转换层集成优化技术，确保对终端用户和BI开发人员透明。

实验结果

研究问题

• RQ1 如何基于组件处理特性对ETL数据流进行有效分区，以实现针对性优化？
• RQ2 共享缓存能在多大程度上减少ETL流水线中的内存占用和数据复制开销？
• RQ3 ETL数据流的最优并行度（流水线深度）是多少，如何高效估算？
• RQ4 与标准ETL执行方式及现有工具（如Kettle）相比，所提出的框架在性能上有哪些提升？
• RQ5 多粒度并行化（子集级和组件级）能否有效利用ETL工作负载中的多核系统？

主要发现

• 所提出的框架相比未使用优化技术的标准ETL数据流实现了4.7倍的加速。
• 该框架在执行时间上优于开源ETL工具Kettle，证明了其实际效率。
• 共享缓存显著减少了内存占用，并消除了ETL组件间冗余的数据复制。
• 在多个粒度级别上应用流水线处理和多线程技术，有效利用了多核处理器资源。
• 基于成本的算法可高效估算最优流水线深度，有助于性能调优和可扩展性。
• 该框架对BI开发人员透明，因为优化在转换层应用，无需修改现有ETL设计。