[论文解读] The Tensor Data Platform: Towards an AI-centric Database System

Apurva Gandhi, Yuki Asada+7 more|arXiv (Cornell University)|Nov 4, 2022

Graph Theory and Algorithms被引用 8

一句话总结

该论文提出了张量数据平台（TDP），一种以人工智能为中心的数据库系统，通过使用张量抽象原生支持多模态数据、硬件加速计算以及通过自动微分实现的可训练查询，取代了关系模型。通过与PyTorch紧密集成，TDP实现了高效、声明式的混合SQL-ML工作负载执行，相较于端到端深度学习模型，在训练效率和模型泛化能力方面表现更优。

ABSTRACT

Database engines have historically absorbed many of the innovations in data processing, adding features to process graph data, XML, object oriented, and text among many others. In this paper, we make the case that it is time to do the same for AI -- but with a twist! While existing approaches have tried to achieve this by integrating databases with external ML tools, in this paper we claim that achieving a truly AI-centric database requires moving the DBMS engine, at its core, from a relational to a tensor abstraction. This allows us to: (1) support multi-modal data processing such as images, videos, audio, text as well as relational; (2) leverage the wellspring of innovation in HW and runtimes for tensor computation; and (3) exploit automatic differentiation to enable a novel class of "trainable" queries that can learn to perform a task. To support the above scenarios, we introduce TDP: a system that builds upon our prior work mapping relational queries to tensors. Thanks to a tighter integration with the tensor runtime, TDP is able to provide a broader coverage of new emerging scenarios requiring access to multi-modal data and automatic differentiation.

研究动机与目标

• 解决传统数据库在处理非关系型、多模态数据（如图像、音频和视频）方面的局限性。
• 克服将机器学习工作负载作为外部UDF或SQL内嵌模型时存在的性能和集成瓶颈。
• 利用张量计算运行时（如PyTorch）的创新生态系统，实现在数据库引擎内硬件加速、自动微分和模型训练。
• 提供统一、声明式的接口，结合SQL与机器学习功能，同时避免迫使数据科学家仅使用SQL工作流。
• 证明基于张量的数据库能够高效处理传统关系型工作负载以及新兴的AI原生工作负载（如向量搜索和视频分析）。

提出的方法

• 在列式存储模型中，使用统一的张量抽象表示所有数据——包括关系型数据、文本、图像、音频和向量。
• 基于PyTorch运行时构建查询处理器，以实现在CPU、GPU以及专用加速器（如TPU、IPU）上的硬件加速。
• 扩展TQP系统以支持对张量的完整SQL类似声明式查询，包括连接、聚合和用户定义函数（UDFs）。
• 通过将神经网络（如CNN）直接嵌入SQL类似表达式中，并利用PyTorch的自动微分实现端到端训练，支持可训练查询。
• 通过将多种数据类型（如图像、文本）编码为密集向量嵌入，使这些嵌入在查询语言中成为一等公民，从而支持多模态数据处理。
• 与Jupyter Notebook、Pandas、NumPy和TensorBoard等ML工具无缝集成，支持全栈数据科学工作负载。

实验结果

研究问题

• RQ1 基于张量计算运行时构建的数据库系统是否能在处理多模态和AI原生工作负载方面超越传统关系型数据库？
• RQ2 与深度学习框架（如PyTorch）的紧密集成如何影响混合SQL-ML查询的性能和可用性？
• RQ3 可训练查询（其中查询逻辑包含可学习组件）在多大程度上能跨任务泛化并保持高精度？
• RQ4 统一系统是否能高效支持传统关系型处理和现代AI工作负载，而不会牺牲性能或表达能力？
• RQ5 在数据库引擎中使用自动微分对优化复杂混合数据处理任务有何实际优势？

主要发现

• 在40,000次训练迭代内，TDP方法在MNISTGrid任务上实现了接近零的测试误差，显著优于小型CNN（850K参数）和ResNet-18（11.1M参数）的收敛速度和最终准确率。
• 从TDP查询中提取的已训练digit_parser CNN组件在MNIST数据集上实现了98.15%的分类准确率，且未显式在MNIST标签上进行训练，证明了其强大的泛化能力和可重用性。
• 系统与PyTorch的紧密集成消除了SQL与ML操作之间的上下文切换开销，实现了在多种硬件上高效执行复杂混合查询。
• TDP通过将所有数据类型表示为张量，原生支持多模态数据处理，使图像、文本和关系型数据之间的无缝操作成为可能。
• 该系统支持一种新型的混合ML-SQL编程模型，既表达能力强又对数据科学家友好，无需将模型重写为SQL或放弃熟悉工具。
• TDP支持一类新型可训练查询，可通过反向传播进行优化，使数据库引擎能够学习最优的查询执行策略和数据转换方式。