[论文解读] Towards Neural Theorem Proving at Scale

Pasquale Minervini, Matko Bošnjak+2 more|arXiv (Cornell University)|Jul 21, 2018

Topic Modeling参考文献 19被引用 16

一句话总结

本文提出 NTP 2.0，一种可扩展的神经定理证明器，通过用近似最近邻（ANNS）替代穷举的证明路径枚举，仅检索得分最高的候选事实，从而加速推理。该方法使在 WordNet 等大型知识库上进行训练和推理成为可能，在多个基准测试中实现最先进性能的同时，显著降低计算成本。

ABSTRACT

Neural models combining representation learning and reasoning in an end-to-end trainable manner are receiving increasing interest. However, their use is severely limited by their computational complexity, which renders them unusable on real world datasets. We focus on the Neural Theorem Prover (NTP) model proposed by Rockt{ä}schel and Riedel (2017), a continuous relaxation of the Prolog backward chaining algorithm where unification between terms is replaced by the similarity between their embedding representations. For answering a given query, this model needs to consider all possible proof paths, and then aggregate results - this quickly becomes infeasible even for small Knowledge Bases (KBs). We observe that we can accurately approximate the inference process in this model by considering only proof paths associated with the highest proof scores. This enables inference and learning on previously impracticable KBs.

研究动机与目标

• 解决由于穷举证明路径枚举导致神经定理证明器（NTP）在大型知识库上计算不可行的问题。
• 使在以往被认为对 NTP 不切实际的真实世界大规模知识库上实现端到端训练和推理成为可能。
• 通过用高效的近似最近邻（ANNS）方法替代精确相似度搜索，提升神经符号推理的可扩展性。
• 在标准基准和大型 WordNet 知识库上评估所提方法的性能。
• 证明基于 ANNS 的近似方法在保持预测准确性的同时，能够实现对以往无法处理的数据集的训练。

提出的方法

• 用近似最近邻（ANNS）搜索替代 NTP 中对所有可能证明路径的穷举搜索，仅检索每个查询最相关的前 k 个事实。
• 利用 ANNS 高效识别与查询项在嵌入空间中相似度最高的候选事实，显著降低计算成本。
• 保留 Prolog 风格逆向链式推理的连续松弛形式，其中合一操作被嵌入相似度计算所取代。
• 使用链接预测目标进行端到端训练，最大化真实事实的得分，同时最小化负样本的得分。
• 在训练和推理过程中均应用 ANNS，使模型可扩展至大型知识库（如包含 112,581 个事实的 WordNet）。
• 实验中使用 k=1，因为更高的 k 值未带来显著改进，尽管 k=1 可能因近似而偶尔遗漏精确最近邻。

实验结果

研究问题

• RQ1 能否使用近似最近邻搜索在不牺牲预测性能的前提下，将神经定理证明扩展至大型知识库？
• RQ2 与原始 NTP 相比，基于 ANNS 的 NTP 2.0 在 Kinship、Nations 和 UMLS 等标准基准上的性能如何？
• RQ3 NTP 2.0 是否能成功在大型真实世界知识库（如 WordNet）上进行训练和评估？
• RQ4 在需要精确最近邻检索的数据集中，ANNS 中使用 k=1 对模型准确率的影响是什么？
• RQ5 NTP 2.0 能够从大规模知识库（如 WordNet）中归纳出何种类型的逻辑规则？

主要发现

• 在 WordNet 上，NTP 2.0 的测试准确率达到 65.72%，与未进行完整超参数调优或正则化的 Distance Model（68.3%）相当。
• 在 Countries 数据集上，当 k=1 时，NTP 2.0 的 AUC-PR 从 56.68% 提升至 85.55%，表明高效近似带来显著性能提升。
• 在 Kinship 数据集上，NTP 2.0 的 MRR 从 0.60 提升至 0.65，HITS@1 从 0.48 提升至 0.57，各项指标均实现一致提升。
• 在 UMLS 数据集上，与原始 NTP 相比，NTP 2.0 的性能有所下降，表明 ANNS 在需要精确最近邻检索的数据集中可能适用性较低。
• 该模型成功从 WordNet 中归纳出可解释的逻辑规则，例如 '_has_part(X,Y) :- _similar_to(Y,X)'，置信度达 0.998，证明了有效符号规则提取能力。
• ANNS 的使用使在以往被认为对 NTP 不可行的 WordNet 知识库上进行训练成为可能，展示了重大的可扩展性突破。