[论文解读] Neural Databases

James Thorne, Majid Yazdani+4 more|arXiv (Cornell University)|Oct 14, 2020

Topic Modeling参考文献 42被引用 8

一句话总结

本文提出 NeuralDB，一种无需模式的数据库系统，通过神经网络处理自然语言查询与更新。它采用由预训练语言模型驱动的并行神经 SPJ（选择-投影-连接）操作符，并结合可学习的事实选择算法，在无需预定义模式的情况下，对数千条语句实现高精度查询。

ABSTRACT

In recent years, neural networks have shown impressive performance gains on long-standing AI problems, and in particular, answering queries from natural language text. These advances raise the question of whether they can be extended to a point where we can relax the fundamental assumption of database management, namely, that our data is represented as fields of a pre-defined schema. This paper presents a first step in answering that question. We describe NeuralDB, a database system with no pre-defined schema, in which updates and queries are given in natural language. We develop query processing techniques that build on the primitives offered by the state of the art Natural Language Processing methods. We begin by demonstrating that at the core, recent NLP transformers, powered by pre-trained language models, can answer select-project-join queries if they are given the exact set of relevant facts. However, they cannot scale to non-trivial databases and cannot perform aggregation queries. Based on these findings, we describe a NeuralDB architecture that runs multiple Neural SPJ operators in parallel, each with a set of database sentences that can produce one of the answers to the query. The result of these operators is fed to an aggregation operator if needed. We describe an algorithm that learns how to create the appropriate sets of facts to be fed into each of the Neural SPJ operators. Importantly, this algorithm can be trained by the Neural SPJ operator itself. We experimentally validate the accuracy of NeuralDB and its components, showing that we can answer queries over thousands of sentences with very high accuracy.

研究动机与目标

• 挑战数据库系统中数据必须遵循预定义模式的传统假设。
• 在无需定义模式的情况下，实现在数据库中使用自然语言进行查询与更新。
• 开发一种可扩展的神经数据库系统，仅通过自然语言输入即可处理复杂查询，包括聚合操作。
• 训练一种事实选择算法，动态识别每个查询组件的相关语句，提升准确率与可扩展性。
• 验证神经模型能否在大规模非结构化文本集合上对复杂的真实世界查询实现高准确率回答。

提出的方法

• 利用基于 Transformer 的预训练语言模型作为核心推理引擎，用于回答选择-投影-连接（SPJ）查询。
• 设计 NeuralDB 架构，通过并行运行多个神经 SPJ 操作符，每个操作符处理与查询组件相关的数据库语句子集。
• 采用可学习的事实选择算法，识别并为每个神经 SPJ 操作符提供最相关的事实，通过 SPJ 操作符的反馈进行端到端训练。
• 集成一个神经聚合操作符，当查询需要聚合时，整合来自多个 SPJ 操作符的结果。
• 利用预训练语言模型的归纳偏置，使系统能够泛化到同一查询的不同自然语言表达形式。
• 通过可微分的流水线训练事实选择模块，使 SPJ 操作符能够提供梯度信号以优化事实的相关性。

实验结果

研究问题

• RQ1 当提供精确的相关事实集合时，预训练语言模型能否准确回答复杂的 SPJ 查询？
• RQ2 神经 SPJ 操作符能否扩展以处理包含数千条语句的非平凡数据库？
• RQ3 在无预定义模式的情况下，神经数据库系统能否有效支持聚合查询？
• RQ4 可学习的事实选择机制能否提升无模式环境下神经查询处理的准确率与效率？
• RQ5 能否通过神经查询操作符的反馈，实现对事实选择算法的端到端训练？

主要发现

• 当提供精确的相关事实集合时，预训练语言模型能够准确回答 SPJ 查询，证明了神经查询处理的可行性。
• NeuralDB 在无需预定义模式的情况下，对数千条语句的复杂查询仍能实现高准确率。
• 多个神经 SPJ 操作符的并行执行显著提升了可扩展性与鲁棒性，优于单操作符方法。
• 可学习的事实选择算法能有效识别相关数据库语句，实现准确高效的查询处理。
• 通过专用的神经聚合操作符，系统支持聚合查询，将功能范围扩展至基本 SPJ 操作之外。
• 利用 SPJ 操作符反馈对事实选择模块进行端到端训练，显著提升了性能与适应能力。