[论文解读] NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning

Zeming Chen, Qiyue Gao+1 more|arXiv (Cornell University)|May 29, 2021

Topic Modeling参考文献 31被引用 4

一句话总结

NeuralLog 提出了一种混合框架，将基于神经网络的释义检测与基于单调性的逻辑推理引擎相结合，以提升自然语言蕴涵（NLI）性能。通过使用束搜索将 NLI 建模为路径规划问题，该方法根据各模块的优势动态地将推理任务分配给神经网络或逻辑模块，从而在 SICK（93.4%）和 MED（93.4%）数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Deep learning (DL) based language models achieve high performance on various benchmarks for Natural Language Inference (NLI). And at this time, symbolic approaches to NLI are receiving less attention. Both approaches (symbolic and DL) have their advantages and weaknesses. However, currently, no method combines them in a system to solve the task of NLI. To merge symbolic and deep learning methods, we propose an inference framework called NeuralLog, which utilizes both a monotonicity-based logical inference engine and a neural network language model for phrase alignment. Our framework models the NLI task as a classic search problem and uses the beam search algorithm to search for optimal inference paths. Experiments show that our joint logic and neural inference system improves accuracy on the NLI task and can achieve state-of-art accuracy on the SICK and MED datasets.

研究动机与目标

• 通过整合两种方法，解决纯深度学习或符号化 NLI 系统的局限性。
• 克服深度学习模型在泛化能力上的不足，以及符号系统在处理句法变化方面的薄弱表现。
• 构建一个统一框架，使神经与逻辑推理在共享的推理流水线中相互补充。
• 通过利用神经模型进行释义检测、逻辑推理进行基于单调性的推理，提升 NLI 的鲁棒性与准确率。
• 在保持对多样化句法变化的性能的同时，实现对复杂语言现象的可解释、精确推理。

提出的方法

• 将 NLI 任务建模为路径规划问题，其中前提为起始状态，假设为目标状态。
• 使用束搜索探索并选择通过一系列推理步骤的最优推理路径。
• 集成三个推理模块：词汇级、短语级和句法变异处理，分别处理不同类型推理。
• 在短语级片段上应用基于神经网络的释义检测，以应对句法变化。
• 采用基于单调性的逻辑推理引擎，利用形式语义规则检测蕴涵与矛盾。
• 使用控制器机制，根据推理类型将任务动态分配给最合适的模块（神经或逻辑）。

实验结果

研究问题

• RQ1 结合神经与符号推理的联合框架是否能够使 NLI 性能达到超越最先进深度学习模型的水平？
• RQ2 在单一推理流水线中，如何有效协调神经与逻辑推理？
• RQ3 神经模型在短语层面检测释义的能力在多大程度上可解决 NLI 中的句法变化问题？
• RQ4 基于单调性的逻辑推理是否能提升蕴涵与矛盾任务的准确率，尤其是在复杂案例中？
• RQ5 与孤立方法相比，两种推理方式的融合在鲁棒性与泛化能力方面有何影响？

主要发现

• NeuralLog 在 SICK 数据集上实现了 93.4% 的最先进准确率，显著优于 BERT+（71.6%）和 BERT（44.7%）。
• 在 MED 数据集上，NeuralLog 总体准确率达到 93.4%，较 BERT+ 提高 21.8 个百分点，较 BERT 提高 48.7 个百分点。
• 系统在向上推理（蕴涵）和向下推理（矛盾）任务中均表现提升，分别较 BERT+ 提高 +15.4 和 +23.6。
• 消融实验表明，仅使用神经或逻辑推理均无法达到最优性能，证实了联合推理的优势。
• 错误分析显示，依存句法分析错误和背景知识的缺乏是主要失败原因，尤其在复杂推理中更为明显。
• SICK 数据集中黄金标签的不一致性——例如，句法结构相似但被赋予不同标签（如 folding/unfolding 与 playing/not playing）——凸显了数据质量的挑战。