[论文解读] TensorLog: Deep Learning Meets Probabilistic DBs

William W. Cohen, Fan Yang+1 more|arXiv (Cornell University)|Jul 17, 2017

Bayesian Modeling and Causal Inference参考文献 22被引用 31

一句话总结

TensorLog 通过将逻辑查询编译为可在 TensorFlow 等 GPU 加速框架上执行的可微分函数，将概率一阶逻辑与深度学习相结合。它通过将推理限制在可处理的 ptree-SDKG 结构上并使用动态规划进行信念传播，实现了对大规模知识库的可扩展、可微分推理——每轮训练约 200 秒内可处理高达 420,000 个三元组和 10,000 个样本。

ABSTRACT

We present an implementation of a probabilistic first-order logic called TensorLog, in which classes of logical queries are compiled into differentiable functions in a neural-network infrastructure such as Tensorflow or Theano. This leads to a close integration of probabilistic logical reasoning with deep-learning infrastructure: in particular, it enables high-performance deep learning frameworks to be used for tuning the parameters of a probabilistic logic. Experimental results show that TensorLog scales to problems involving hundreds of thousands of knowledge-base triples and tens of thousands of examples.

研究动机与目标

• 将概率一阶逻辑推理与深度学习基础设施相连接，实现端到端的可微分训练。
• 解决传统基于实例化的推理在概率逻辑系统中因知识库规模扩大而产生的可扩展性瓶颈问题，该问题在大规模知识库下变得不可行。
• 通过基于梯度的优化方法实现概率归纳数据库中的参数学习，而非依赖人工标注数据或对软谓词的直接监督。
• 形式化一个概率归纳数据库的可处理子类（ptree-SDKGs），在保持足够表达能力的同时支持高效且可微分的推理。
• 证明在现代深度学习平台（如 TensorFlow 和 Theano）上，逻辑查询的可微分推理可被高效执行。

提出的方法

• 使用一种称为 ptree-SDKGs 的受限概率归纳数据库类，将一阶逻辑查询编译为可微分计算图。
• 在每个随机变量对应一个证明中逻辑变量可能绑定的因子图上，通过信念传播使用动态规划。
• 将软谓词（例如 indicatesLabel、important）表示为可微分参数，其权重通过梯度下降进行调优。
• 采用无实例化的推理算法，通过利用树形依赖结构避免完全实例化带来的指数级膨胀。
• 通过将推理表达为可微分函数，将逻辑推理嵌入神经网络框架，从而实现通过逻辑查询的反向传播。
• 应用可微分软约束与概率推理，实现从问题-答案对中联合学习逻辑规则及其参数。

实验结果

研究问题

• RQ1 概率一阶逻辑推理能否高效地集成到 TensorFlow 和 Theano 等深度学习框架中？
• RQ2 是否可能在不进行完全实例化的情况下，对大规模概率知识库实现可扩展的可微分推理？
• RQ3 能否从问题-答案监督中间接实现软谓词（例如表示标签相关性）的参数学习，而非依赖直接标注？
• RQ4 对逻辑结构施加何种限制，可在保持足够表达能力的同时确保推理的可处理性？
• RQ5 通过 ptree-SDKG 等架构约束，能否缓解 #P-难推理任务的计算复杂度？

主要发现

• TensorLog 可扩展至包含高达 420,000 个三元组和 10,000 个训练样本的知识库，在单张 GPU 上每轮训练约 200 秒内完成推理。
• 系统支持通过梯度下降实现软谓词权重的端到端可微分训练，从而实现从问题-答案对中获得间接监督。
• ptree-SDKG 形式化通过将依赖结构限制为类似树的图结构，确保了推理的可处理性，避免了完全实例化带来的指数级膨胀。
• 理论分析表明，在标准语义下，一般概率逻辑推理仍为 #P-难，这证明了采用 ptree-SDKG 等结构约束的必要性。
• 实证结果表明，系统能够从自然语言问答数据中学习到有意义的逻辑参数（例如，用于指示标签相关性的参数）。
• 该框架通过利用 GPU 加速的深度学习平台，实现了高性能训练，使逻辑推理在真实世界数据集上的扩展成为可能。