[论文解读] The MADlib Analytics Library or MAD Skills, the SQL

Joe Hellerstein, Christopher Ré+9 more|arXiv (Cornell University)|Aug 21, 2012

Advanced Database Systems and Queries参考文献 36被引用 51

一句话总结

MADlib 是一个开源的、基于 SQL 的分析库，可在并行数据库管理系统（DBMS）中直接实现可扩展的机器学习和统计计算，通过在数据库内使用 SQL 和用户自定义函数执行算法，避免了数据移动。它通过数据库内执行、并行处理以及优化的线性代数内核实现高性能，在 Greenplum DBMS 上已实现显著的性能加速。

ABSTRACT

MADlib is a free, open source library of in-database analytic methods. It provides an evolving suite of SQL-based algorithms for machine learning, data mining and statistics that run at scale within a database engine, with no need for data import/export to other tools. The goal is for MADlib to eventually serve a role for scalable database systems that is similar to the CRAN library for R: a community repository of statistical methods, this time written with scale and parallelism in mind. In this paper we introduce the MADlib project, including the background that led to its beginnings, and the motivation for its open source nature. We provide an overview of the library's architecture and design patterns, and provide a description of various statistical methods in that context. We include performance and speedup results of a core design pattern from one of those methods over the Greenplum parallel DBMS on a modest-sized test cluster. We then report on two initial efforts at incorporating academic research into MADlib, which is one of the project's goals. MADlib is freely available at http://madlib.net, and the project is open for contributions of both new methods, and ports to additional database platforms.

研究动机与目标

• 为应对日益增长的可扩展数据库内分析需求，提供一个统一的、开源的统计与机器学习方法库。
• 通过将新颖算法集成到生产数据库系统中，弥合学术研究与工业部署之间的差距。
• 通过在 DBMS 内直接执行算法，实现无需导出数据的大规模数据分析。
• 建立一个类似 R 的 CRAN 的社区驱动框架，但专为可扩展的并行数据库系统设计。
• 在不移动数据或使用外部工具的前提下，实现高级分析与现有企业数据基础设施的无缝集成。

提出的方法

• 在 DBMS 内将统计与机器学习算法实现为 SQL 存储过程和用户自定义函数（UDFs）。
• 利用现代 DBMS（如 Greenplum）的并行、共享无状态架构，实现跨多个节点的计算扩展。
• 使用声明式 SQL 协调数据在磁盘、内存和分布式节点之间的移动，同时将计算密集型内核卸载到高性能 C++ UDF 中。
• 使用 Python 驱动脚本对迭代算法（如共轭梯度法、k-means）进行高层控制，协调数据库内的计算。
• 设计模块化、可扩展的库，支持稀疏向量、数组操作和线性代数原语，以支持复杂模型。
• 通过基于 C++ 的抽象层，抽象低级别 DBMS 特定接口，确保在不同 DBMS 平台上的可移植性。

实验结果

研究问题

• RQ1 如何在标准的基于 SQL 的 DBMS 中有效表达和执行统计与机器学习算法，以避免数据移动？
• RQ2 哪些架构模式能够支持大规模、数据库内的分析，同时支持监督学习与无监督学习？
• RQ3 通过 SQL 和 UDF 实现的数据库内执行，在性能上能在多大程度上与 Hadoop 等专用大数据框架相媲美？
• RQ4 如何通过一个可重用的开源库，系统性地将数据科学领域的学术研究成果集成到生产数据库系统中？
• RQ5 在异构 DBMS 平台之间移植数据库内分析库时，面临的关键挑战和设计权衡是什么？

主要发现

• MADlib 在支持 SQL 的 DBMS 内成功实现了广泛的统计与机器学习方法，包括线性回归、逻辑回归、k-means、SVD 和 LDA。
• 通过数据库内执行，该库实现了显著的性能提升，在小型 Greenplum 集群上，核心计算模式的性能最高提升了 10 倍。
• 使用用户自定义函数（UDFs）实现底层线性代数操作，可在保持跨平台可移植性的同时实现高效、高性能的计算。
• 该库的设计支持学术研究的无缝集成，已有两个基于研究的方法成功集成到框架中。
• MADlib 的架构支持内存内和内存外执行，能够在共享无状态的并行 DBMS 上实现大规模数据集的可扩展处理。
• 该研究证明，基于 SQL 的分析可以成为 Hadoop MapReduce 等低层级框架的可行替代方案，尤其在优先考虑性能和开发人员生产力时。