[论文解读] Recursive Neural Networks for Learning Logical Semantics.

Samuel R. Bowman, Christopher Potts+1 more|arXiv (Cornell University)|Jun 6, 2014

Topic Modeling参考文献 21被引用 22

一句话总结

本文评估了递归神经网络——特别是普通RNN和递归神经张量网络（RNTNs）——是否能够学习自然语言蕴含的组合逻辑语义。通过使用基于逻辑语法生成的受控数据集，研究发现RNTNs在蕴含、矛盾和量化句子上的泛化能力良好，而普通RNN仅表现出混合性能，表明RNTNs更适合学习支持逻辑推理的表示。

ABSTRACT

Supervised recursive neural network models (RNNs) for sentence meaning have been successful in an array of sophisticated language tasks, but it remains an open question whether they can learn compositional semantic grammars that support logical deduction. We address this question directly by for the first time evaluating whether each of two classes of neural model — plain RNNs and recursive neural tensor networks (RNTNs) — can correctly learn relationships such as entailment and contradiction between pairs of sentences, where we have generated controlled data sets of sentences from a logical grammar. Our first experiment evaluates whether these models can learn the basic algebra of logical relations involved. Our second and third experiments extend this evaluation to complex recursive structures and sentences involving quantification. We find that the plain RNN achieves only mixed results on all three experiments, whereas the stronger RNTN model generalizes well in every setting and appears capable of learning suitable representations for natural language logical inference.

研究动机与目标

• 探究监督式递归神经网络是否能够学习支持逻辑推理的组合语义语法。
• 评估神经模型捕捉句子对之间逻辑关系（如蕴含和矛盾）的能力。
• 评估模型在日益复杂的递归结构以及涉及量化的句子上的泛化能力。
• 比较普通RNN和递归神经张量网络（RNTNs）在学习逻辑语义方面的性能。

提出的方法

• 作者使用形式化逻辑语法生成受控的句子对数据集，以定义蕴含和矛盾关系。
• 他们在这些数据集上训练普通RNN和递归神经张量网络（RNTNs），以学习句子表示。
• 评估模型预测句子对之间逻辑关系的能力，包括基本逻辑代数和复杂递归结构。
• 评估包含量词的句子，以测试模型在简单模式之外的泛化能力。
• RNTN模型使用张量组合来学习词表示之间的非线性交互，从而增强其表征能力。
• 通过在多个实验设置下预测逻辑关系的准确率来衡量性能。

实验结果

研究问题

• RQ1 普通RNN能否在句子对中学习蕴含和矛盾等基本逻辑关系代数？
• RQ2 RNTNs在保持准确逻辑推理的同时，能否在复杂递归句子结构上实现良好泛化？
• RQ3 两种模型在涉及量化的句子上的表现如何，这类句子需要更深层次的组合理解？
• RQ4 RNTNs中引入基于张量的组合是否相比普通RNN在逻辑推理任务中带来更好的泛化能力？

主要发现

• 普通RNN在所有三个实验中仅表现出混合结果，表明其在逻辑推理任务上的泛化能力有限。
• RNTN模型在所有实验设置中均表现出良好泛化能力，包括复杂递归结构和量化句子。
• RNTN在学习适合自然语言逻辑蕴含的表示方面表现更优。
• 结果表明，RNTNs能够学习支持逻辑推理的组合语义语法。
• 由于基于张量的组合，RNTNs具有更强的表征能力，因此在学习逻辑关系方面优于普通RNN。