[论文解读] Neural Query Language: A Knowledge Base Query Language for Tensorflow

William W. Cohen, M.A. Siegler+1 more|arXiv (Cornell University)|May 15, 2019

Neural Networks and Applications参考文献 7被引用 5

一句话总结

神经查询语言（NQL）是一种基于TensorFlow的可微查询语言，通过将知识库（KB）操作表示为可微张量操作，实现了知识库与神经网络的无缝集成。它支持对软符号知识库进行端到端训练，涵盖实体链接、关系抽取和查询模板学习等任务，并可在单张GPU上处理数百万条KB元组。

ABSTRACT

Large knowledge bases (KBs) are useful for many AI tasks, but are difficult to integrate into modern gradient-based learning systems. Here we describe a framework for accessing soft symbolic database using only differentiable operators. For example, this framework makes it easy to conveniently write neural models that adjust confidences associated with facts in a soft KB; incorporate prior knowledge in the form of hand-coded KB access rules; or learn to instantiate query templates using information extracted from text. NQL can work well with KBs with millions of tuples and hundreds of thousands of entities on a single GPU.

研究动机与目标

• 使基于梯度的学习系统能够通过可微操作直接查询和更新软符号知识库。
• 支持在知识库上执行实体链接、关系抽取和查询推理的神经模型的端到端训练。
• 提供高层、可读性强的接口，用于在TensorFlow中将复杂知识库查询表达为可微张量计算。
• 使神经模型能够学习查询模板和知识库访问规则，实现类似归纳逻辑编程的推理能力。
• 通过支持可微、可学习的查询执行，克服传统知识库查询语言（如SQL、SPARQL）的局限性。

提出的方法

• NQL将实体和关系表示为向量和矩阵，关系以TensorFlow中的稀疏权重矩阵编码。
• 支持可微操作，如关系应用（s.rel()）、矩阵乘法、Hadamard积和向量加法。
• s.follow(r)操作以可微方式支持关系链式组合，适用于学习多跳推理路径。
• NQL支持关系的变量绑定，实现动态查询构建，并与神经模型集成。
• 查询被编译为带有类型检查和反向指针的TensorFlow计算图，以解析符号实体名称。
• 该框架通过递归模型学习关系链，预测关系和停止概率，从而实现对训练中未见的更长推理路径的泛化。

实验结果

研究问题

• RQ1 能否设计一种查询语言，支持在知识库上进行可微操作，从而实现神经模型的端到端可微训练？
• RQ2 如何在不牺牲表达能力或可扩展性的前提下，将软符号知识库集成到基于梯度的学习系统中？
• RQ3 NQL能否支持多跳推理路径的学习，包括对未见推理深度的泛化能力？
• RQ4 NQL在多大程度上能通过可微构造模拟传统知识库操作（如连接）？
• RQ5 NQL在单张GPU上处理包含数百万条元组和数十万实体的大规模知识库时，效率如何？

主要发现

• NQL仅使用TensorFlow中的可微算子，即可实现对软符号知识库进行端到端可微训练的神经模型。
• 该框架通过递归模型支持多跳查询模板的学习，使模型能够泛化到训练中未见的更长推理路径。
• NQL可高效扩展至包含数百万条元组和数十万实体的知识库，并在单张GPU上高效运行。
• NQL支持将神经组件（如实体链接和关系抽取模型）直接集成到知识库查询流水线中，且梯度可反向传播通过整个系统。
• 虽然NQL无法原生返回元组（如SQL中的连接操作），但可通过索引化的实体类型和可微关系组合来模拟此类操作。
• NQL的实现轻量且可直接编译为TensorFlow计算图，具备类型安全性和对稀疏矩阵操作的支持。