[论文解读] SQLFlow: A Bridge between SQL and Machine Learning

Yi Wang, Yang Yang+12 more|arXiv (Cornell University)|Jan 19, 2020

Scientific Computing and Data Management参考文献 8被引用 6

一句话总结

SQLFlow 是一个开源的 SQL 扩展，连接数据库与机器学习系统，通过统一的 SQL 语法实现端到端的机器学习工作流。它将 SQL 程序编译为原生 Kubernetes 的工作流，支持多种数据库（MySQL、Hive、MaxCompute）和机器学习框架（TensorFlow、XGBoost、scikit-learn），并支持通过 SHAP 和自定义工具进行训练、预测和模型解释。

ABSTRACT

Industrial AI systems are mostly end-to-end machine learning (ML) workflows. A typical recommendation or business intelligence system includes many online micro-services and offline jobs. We describe SQLFlow for developing such workflows efficiently in SQL. SQL enables developers to write short programs focusing on the purpose (what) and ignoring the procedure (how). Previous database systems extended their SQL dialect to support ML. SQLFlow (https://sqlflow.org/sqlflow ) takes another strategy to work as a bridge over various database systems, including MySQL, Apache Hive, and Alibaba MaxCompute, and ML engines like TensorFlow, XGBoost, and scikit-learn. We extended SQL syntax carefully to make the extension working with various SQL dialects. We implement the extension by inventing a collaborative parsing algorithm. SQLFlow is efficient and expressive to a wide variety of ML techniques -- supervised and unsupervised learning; deep networks and tree models; visual model explanation in addition to training and prediction; data processing and feature extraction in addition to ML. SQLFlow compiles a SQL program into a Kubernetes-native workflow for fault-tolerable execution and on-cloud deployment. Current industrial users include Ant Financial, DiDi, and Alibaba Group.

研究动机与目标

• 通过允许数据科学家和工程师使用 SQL 表达机器学习流水线，专注于‘做什么’而非‘如何做’，简化端到端机器学习工作流的开发。
• 克服现有数据库扩展 SQL 系统在支持机器学习时存在的厂商锁定和可扩展性有限的问题。
• 通过统一的开源桥接架构，实现异构数据库和机器学习系统之间的互操作性。
• 利用原生 Kubernetes 工作流提供可扩展、容错的执行模型，用于工业级机器学习部署。
• 在单一 SQL 接口中支持模型解释、特征工程，以及监督和无监督学习。

提出的方法

• 通过新增 `TO TRAIN`、`TO PREDICT` 和 `TO EXPLAIN` 等 SQL 子句扩展 SQL 语法，直接在 SQL 中表达机器学习工作流。
• 采用协作解析算法，整合标准 SQL 方言解析器与 SQLFlow 语法扩展解析器，确保向后兼容性。
• 使用两级编译模型将 SQL 程序编译为原生 Kubernetes 工作流：先将 SQL 静态翻译为 Couler，再将 Couler 生成 YAML 工作流。
• 利用 Couler Python 库作为领域特定语言（DSL），描述工作流，使机器学习研究人员能够以 Python 编写和调试工作流。
• 使用 Argo 和 Tekton 等工作流编排引擎，在 Kubernetes 集群上实现容错和可扩展的工作流执行。
• 与 SHAP 等模型解释工具及自定义后端（如基于文本的 SHAP）集成，支持可视化与程序化模型可解释性。

实验结果

研究问题

• RQ1 统一的 SQL 语法扩展能否有效表达跨多种数据库和机器学习框架的多样化机器学习工作流？
• RQ2 SQL 基础系统如何在不造成厂商锁定的前提下，实现与异构数据库和机器学习系统的互操作性？
• RQ3 与原生 YAML 或命令式代码相比，SQLFlow 的编译栈（SQL → Couler → YAML）在提升开发效率和工作流可维护性方面能有多大改善？
• RQ4 SQLFlow 是否能在单一、一致的 SQL 接口中同时支持监督和无监督学习，包括模型解释？
• RQ5 SQLFlow 的架构如何实现生产环境中机器学习流水线的高效、容错和可扩展执行？

主要发现

• SQLFlow 能够成功将 SQL 程序编译为原生 Kubernetes 工作流，实现端到端机器学习流水线的容错和可扩展执行。
• 协作解析算法使 SQLFlow 能够在不修改底层系统的情况下，兼容多种 SQL 方言（MySQL、Hive、MaxCompute）和机器学习引擎（XGBoost、TensorFlow、scikit-learn）。
• 该系统支持监督和无监督学习，包括模型训练、预测，以及通过 SHAP 和自定义工具（如 metaplot）进行模型解释。
• 与 Jupyter Notebook 及命令行工具（如 `sqlflow compile`）的集成，证明了其在交互式和程序化工作流中的可用性。
• 使用 Couler 作为 Python DSL 描述工作流，使机器学习研究人员能够高效构建和调试复杂流水线，并具备清晰的编译路径至 YAML。
• 演示表明，单个 SQL 程序可在不同环境（本地、Docker、云）中执行，并与多种数据库和机器学习模型组合，证明了系统的通用性和可扩展性。