[论文解读] Towards a Unified Architecture for in-RDBMS Analytics

Xixuan Feng, Arun Kumar+2 more|arXiv (Cornell University)|Mar 12, 2012

Advanced Database Systems and Queries参考文献 26被引用 5

一句话总结

本文提出 Bismarck，一种用于数据库内分析的统一架构，通过在关系型数据库管理系统（RDBMS）中利用用户定义聚合函数（UDAs），以极少的代码（最少仅需 10 行 C 代码）实现多种基于凸优化的分析技术——如逻辑回归、支持向量机（SVM）和矩阵分解。其核心贡献是一个通用且高性能的框架，通过利用数据排序、并行化和多路复用水库采样，实现了与原生 RDBMS 分析工具相当或更优的性能。

ABSTRACT

The increasing use of statistical data analysis in enterprise applications has created an arms race among database vendors to offer ever more sophisticated in-database analytics. One challenge in this race is that each new statistical technique must be implemented from scratch in the RDBMS, which leads to a lengthy and complex development process. We argue that the root cause for this overhead is the lack of a unified architecture for in-database analytics. Our main contribution in this work is to take a step towards such a unified architecture. A key benefit of our unified architecture is that performance optimizations for analytics techniques can be studied generically instead of an ad hoc, per-technique fashion. In particular, our technical contributions are theoretical and empirical studies of two key factors that we found impact performance: the order data is stored, and parallelization of computations on a single-node multicore RDBMS. We demonstrate the feasibility of our architecture by integrating several popular analytics techniques into two commercial and one open-source RDBMS. Our architecture requires changes to only a few dozen lines of code to integrate a new statistical technique. We then compare our approach with the native analytics tools offered by the commercial RDBMSes on various analytics tasks, and validate that our approach achieves competitive or higher performance, while still achieving the same quality.

研究动机与目标

• 为解决当前在 RDBMS 中实现新分析技术时开发与维护成本高的问题，这些技术目前需要为每种算法单独实现定制化代码。
• 将多种分析工作负载——如逻辑回归、SVM、矩阵分解和卡尔曼滤波——统一在一个可重用的单一架构中，运行于 RDBMS 内部。
• 通过复用现有的数据库功能，降低将新统计技术集成到商业及开源 RDBMS 中的复杂度与时间成本。
• 通过利用 RDBMS 优化的特性（如并行执行和高效的数据访问模式），实现与原生分析工具相当或更优的高性能。
• 在多个 RDBMS 平台（包括 PostgreSQL 和两个商业系统）上验证该框架的可行性与性能表现。

提出的方法

• 将分析任务表示为凸规划问题，特别是可通过增量梯度下降（IGD）求解的问题，其数据访问模式与 SQL 聚合函数类似。
• 使用所有主流 RDBMS 均支持的标准用户定义聚合（UDA）函数来实现 IGD 及其他分析算法，从而实现与现有查询计划和优化器的无缝集成。
• 提出一种共享内存 UDA 并行化模型，包含 NoLock 和 AIG 变体，以实现在多核系统上的高效可扩展执行，避免锁机制和模型传递带来的性能瓶颈。
• 设计并部署一种多路复用水库采样（MRS）方案，以提升无法完全装入内存的大规模数据集上的收敛速度，优于子采样和聚簇数据访问方式。
• 优化数据存储顺序，并利用 RDBMS 的并发控制与查询优化机制，以提升在多种分析工作负载下的性能表现。
• 在多个 RDBMS（PostgreSQL 和两个商业系统）及数据集（包括 Classify300M 和 Matrix5B）上验证该架构，以证明其通用性与可扩展性。

实验结果

研究问题

• RQ1 能否仅使用标准 RDBMS 功能，构建一个统一的架构，以支持广泛类别的数据库内分析技术？
• RQ2 数据存储顺序如何影响 RDBMS 中迭代分析算法（如 IGD）的性能？
• RQ3 在单节点多核系统上，不同的并行化策略（如锁机制 vs. NoLock）对基于 UDA 的分析有何性能影响？
• RQ4 轻量级的多路复用水库采样方案能否提升大规模磁盘驻留数据上的收敛速度并减少运行时间？
• RQ5 所提出的 Bismarck 架构在性能上与商业 RDBMS 中原生实现的分析工具相比如何？

主要发现

• Bismarck 在商业 RDBMS 的原生分析工具中实现了相当或更优的性能，采用 NoLock 并行化方案时，最高实现线性加速。
• NoLock 共享内存 UDA 并行化在多核系统上实现了线性加速，由于同步开销更低，优于锁机制和纯 UDA 方法。
• 多路复用水库采样（MRS）在收敛速度上优于子采样和聚簇数据访问，使大型数据集达到 2 倍最优目标值所需时间减少高达 80%。
• 在 Classify300M 数据集上，Bismarck 搭配 MRS 在 45 分钟内达到与 MADlib 相同的目标值，而 MADlib 耗时超过 3 小时。
• 在 Matrix5B 上的复杂 LMF 任务中，Bismarck 几小时内完成，而 MADlib 即使运行一周仍未终止。
• 新分析技术的集成仅需 10–50 行 C 代码，显著降低了开发开销。