[论文解读] REX: Recursive, Delta-Based Data-Centric Computation

Svilen R. Mihaylov, Zachary G. Ives+1 more|arXiv (Cornell University)|Aug 1, 2012

Cloud Computing and Resource Management参考文献 20被引用 5

一句话总结

REX 提出了一种基于数据的递归、基于差分的计算模型，通过在迭代之间仅传播变更（差分），高效处理迭代式数据分析，从而减少冗余计算。它将数据库式操作与云环境的容错能力相结合，在 K-means 和最短路径查询等迭代工作负载中，相较于 Hadoop 和 HaLoop 实现了高达 100 倍的加速。

ABSTRACT

In today's Web and social network environments, query workloads include ad hoc and OLAP queries, as well as iterative algorithms that analyze data relationships (e.g., link analysis, clustering, learning). Modern DBMSs support ad hoc and OLAP queries, but most are not robust enough to scale to large clusters. Conversely, "cloud" platforms like MapReduce execute chains of batch tasks across clusters in a fault tolerant way, but have too much overhead to support ad hoc queries. Moreover, both classes of platform incur significant overhead in executing iterative data analysis algorithms. Most such iterative algorithms repeatedly refine portions of their answers, until some convergence criterion is reached. However, general cloud platforms typically must reprocess all data in each step. DBMSs that support recursive SQL are more efficient in that they propagate only the changes in each step -- but they still accumulate each iteration's state, even if it is no longer useful. User-defined functions are also typically harder to write for DBMSs than for cloud platforms. We seek to unify the strengths of both styles of platforms, with a focus on supporting iterative computations in which changes, in the form of deltas, are propagated from iteration to iteration, and state is efficiently updated in an extensible way. We present a programming model oriented around deltas, describe how we execute and optimize such programs in our REX runtime system, and validate that our platform also handles failures gracefully. We experimentally validate our techniques, and show speedups over the competing methods ranging from 2.5 to nearly 100 times.

研究动机与目标

• 统一现代数据库管理系统（DBMS）与云平台的优势，用于迭代式数据分析。
• 解决在云平台上每次迭代都重新处理整个数据集所导致的低效问题。
• 克服递归 SQL 中的状态累积问题，即不必要的保留旧的中间结果。
• 在一个可扩展的统一系统中同时支持即席 OLAP 查询与复杂迭代算法（如聚类和链接分析）。
• 通过仅持久化差分状态而非完整中间结果，实现高效的故障恢复。

提出的方法

• 采用基于差分的编程模型，仅在迭代之间传播变更（差分），而非完整数据。
• 在支持递归执行和状态管理的关系型引擎中执行用户定义的函数。
• 使用运行时系统（REX）通过函数重排、预聚合下推以及用户提供的提示来优化查询执行。
• 通过仅维护不断演化的差分来支持增量状态更新，降低内存和 I/O 开销。
• 与无共享集群集成，并使用 DHT 实现对可变状态（如最短路径中的最小距离）的容错存储。
• 支持在关系型引擎中执行原生 Hadoop 代码，从而涵盖 MapReduce 功能。

实验结果

研究问题

• RQ1 如何通过最小化冗余重新计算，更高效地执行迭代式数据分析工作负载？
• RQ2 统一系统能否高效支持即席 OLAP 查询与复杂迭代算法（如聚类和链接分析）？
• RQ3 在迭代计算中，如何在不牺牲性能的前提下实现容错？
• RQ4 在分布式环境中，针对包含用户定义函数、递归和聚合的查询，哪些优化是有效的？
• RQ5 差分传播是否能同时减少节点故障情况下的执行时间和恢复开销？

主要发现

• 在 K-means 和最短路径查询等各种工作负载中，REX 相较于 Hadoop 和 HaLoop 实现了 2.5 至接近 100 倍的加速。
• 增量恢复策略相比基于重启的恢复方式，将恢复开销降低了 50%，即使在节点故障情况下依然有效。
• 在大多数迭代查询场景中，REX 的性能优于 HaLoop 超过 3 倍，尤其在收敛缓慢的场景中优势更明显。
• 该系统通过避免完整重新处理，显著降低了启动和终止开销，尤其对短时或稳定阶段的迭代具有显著优势。
• 函数重排和预聚合下推优化显著提升了性能，且未降低查询执行效率。
• 在关系型引擎中集成原生 Hadoop 代码，实现了 MapReduce 风格作业的无缝执行，同时保留了优化优势。