[论文解读] Scaling Datalog for Machine Learning on Big Data

Yingyi Bu, Vinayak Borkar+6 more|arXiv (Cornell University)|Mar 1, 2012

Advanced Database Systems and Queries参考文献 27被引用 51

一句话总结

本文提出了一种声明式、基于Datalog的框架，通过将迭代式机器学习工作负载（如Pregel和Iterative Map-Reduce-Update）编译为优化的、可扩展的物理执行计划，实现了对这些工作负载的统一。实验表明，该方法在性能上可与Spark和Hadoop等专用系统相媲美，同时在大规模集群上实现了更好的调优能力、代码复用性以及跨机器学习任务的集成能力。

ABSTRACT

In this paper, we present the case for a declarative foundation for data-intensive machine learning systems. Instead of creating a new system for each specific flavor of machine learning task, or hardcoding new optimizations, we argue for the use of recursive queries to program a variety of machine learning systems. By taking this approach, database query optimization techniques can be utilized to identify effective execution plans, and the resulting runtime plans can be executed on a single unified data-parallel query processing engine. As a proof of concept, we consider two programming models--Pregel and Iterative Map-Reduce-Update---from the machine learning domain, and show how they can be captured in Datalog, tuned for a specific task, and then compiled into an optimized physical plan. Experiments performed on a large computing cluster with real data demonstrate that this declarative approach can provide very good performance while offering both increased generality and programming ease.

研究动机与目标

• 为解决在Hadoop等传统大数据平台中实现迭代式机器学习工作负载时存在的效率低下和复杂性问题，这些平台缺乏对递归或迭代的原生支持。
• 通过单一声明式语言统一多种机器学习编程模型（如Pregel和Iterative Map-Reduce-Update），以减少代码重复并提高可维护性。
• 利用数据库查询优化技术处理递归Datalog查询，生成在大规模集群上高效执行的数据并行执行计划。
• 通过声明式规范实现对机器学习工作负载的任务特定调优，将逻辑设计与物理执行解耦。
• 证明单一统一的运行时引擎能够高效执行多种机器学习工作负载，在内存受限环境中优于专用系统。

提出的方法

• 将高层机器学习编程模型（如Pregel和Iterative Map-Reduce-Update）映射为表达迭代计算与数据流逻辑的递归Datalog查询。
• 使用扩展支持磁盘外处理和分布式执行的Datalog引擎，在集群上处理大规模数据。
• 应用查询优化器，从Datalog程序生成优化的物理执行计划，利用传统RDBMS优化技术处理递归与迭代。
• 通过基于Hyracks构建的运行时系统，将Datalog程序编译为高效的、数据并行的执行计划，支持灵活的数据重分布与消息传递。
• 将基于Datalog的系统与规划/优化器堆栈集成，以支持任务特定调优和资源感知执行。
• 扩展Algebricks代数与重写规则框架，为机器学习工作负载提供通用且可扩展的查询处理基础。

实验结果

研究问题

• RQ1 递归Datalog查询是否能够声明式地表达包括Pregel和Iterative Map-Reduce-Update在内的广泛迭代式机器学习算法？
• RQ2 传统数据库查询优化技术在多大程度上可应用于Datalog程序，以生成适用于机器学习工作负载的高效、可扩展执行计划？
• RQ3 基于Datalog的系统在真实世界大规模机器学习任务上的性能，与Spark和Hadoop等专用系统相比如何？
• RQ4 单一统一的数据并行运行时是否能够高效执行多种机器学习工作负载，而无需为每种模型类型部署独立系统？
• RQ5 声明式方法是否能够在调优和资源分配方面优于命令式或临时编写迭代框架，为特定ML任务提供更好的支持？

主要发现

• 基于Datalog的系统在大规模真实数据集上实现了与Spark和Hadoop相当的性能，证明了统一声明式方法的可行性。
• 在相同硬件条件下，Spark因主内存限制而失败，而Datalog系统成功运行，凸显其更优的内存效率。
• 与Hadoop相比，该系统在执行效率上提升了整整一个数量级，表明查询优化器带来了显著的性能提升。
• PageRank和批量梯度下降的Datalog程序代码简洁且高度可调优，仅通过逻辑规范即可实现任务特定优化。
• 该方法成功将ETL与机器学习工作负载统一于单一运行时，降低了流水线复杂度与数据传输开销。
• 该系统展示了根据特定数据分布与资源分配生成优化物理计划的能力，实现了对多样化工作负载的高效执行。