[论文解读] Probabilistic Reasoning via Deep Learning: Neural Association Models

Quan Liu, Hui Jiang+5 more|arXiv (Cornell University)|Mar 24, 2016

Bayesian Modeling and Causal Inference参考文献 34被引用 79

一句话总结

本文提出了神经关联模型（NAM），一种利用神经网络建模事件间条件概率的深度学习框架，用于概率推理。该研究提出了两种架构——DNN和关系调制神经网络（RMNN），在文本蕴含、知识库三元组分类以及Winograd模式挑战任务中均优于传统方法，其中RMNN展现出强大的 few-shot 知识迁移能力。

ABSTRACT

In this paper, we propose a new deep learning approach, called neural association model (NAM), for probabilistic reasoning in artificial intelligence. We propose to use neural networks to model association between any two events in a domain. Neural networks take one event as input and compute a conditional probability of the other event to model how likely these two events are to be associated. The actual meaning of the conditional probabilities varies between applications and depends on how the models are trained. In this work, as two case studies, we have investigated two NAM structures, namely deep neural networks (DNN) and relation-modulated neural nets (RMNN), on several probabilistic reasoning tasks in AI, including recognizing textual entailment, triple classification in multi-relational knowledge bases and commonsense reasoning. Experimental results on several popular datasets derived from WordNet, FreeBase and ConceptNet have all demonstrated that both DNNs and RMNNs perform equally well and they can significantly outperform the conventional methods available for these reasoning tasks. Moreover, compared with DNNs, RMNNs are superior in knowledge transfer, where a pre-trained model can be quickly extended to an unseen relation after observing only a few training samples. To further prove the effectiveness of the proposed models, in this work, we have applied NAMs to solving challenging Winograd Schema (WS) problems. Experiments conducted on a set of WS problems prove that the proposed models have the potential for commonsense reasoning.

研究动机与目标

• 为解决传统概率推理模型（如贝叶斯网络）在事件空间较大时变得不可行的局限性。
• 通过使用深度神经网络建模事件间的语义关联，实现AI中的有效常识推理。
• 通过设计可快速适应新关系的模型架构，提升少样本学习场景下的知识迁移能力。
• 评估NAM在具有挑战性的常识推理基准上的有效性，特别是Winograd模式挑战。
• 开发一种可扩展的方法，从非结构化文本中收集因果对，以支持真实语言关联的训练。

提出的方法

• 使用分布式表示将事件表示为低维连续向量，以捕捉语义相似性并实现泛化。
• 训练深度神经网络（DNN）和关系调制神经网络（RMNN），以预测输入事件E1与输出事件E2之间的条件概率P(E2|E1)。
• 采用负采样策略：对于TransMat-NAM，通过改变句法模式（如语态或极性）生成负样本；对于RelationVec-NAM，随机采样不同的结果事件。
• 利用预训练词嵌入，并在任务特定数据集上微调模型，包括来自WordNet、FreeBase和ConceptNet的数据。
• 通过建模如“call”→“not successful”或“be upset”→“yell”等事件关联，将NAM框架应用于Winograd模式问题，使用学习到的概率分数进行推理。
• 在大规模自动收集的因果对数据集上训练模型，该数据集从非结构化文本中提取，使用常见动词和形容词作为词汇。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模事件之间的条件关联概率，以支持概率推理任务？
• RQ2 在多个推理基准上，DNN与RMNN架构在性能和泛化能力方面如何比较？
• RQ3 所提出的NAM框架能否实现有效的 few-shot 知识迁移，使模型能仅用少量标注样本快速适应未见关系？
• RQ4 NAM在多大程度上能够解决复杂的常识推理问题，如Winograd模式挑战中的问题？
• RQ5 从非结构化文本中自动收集高质量因果对是否可行，以用于训练神经关联模型？

主要发现

• 使用DNN和RMNN架构的NAM框架，在文本蕴含、多关系知识库中的三元组分类以及常识推理任务中，显著优于传统方法。
• 在Winograd模式因果对数据集上，RelationVec-NAM系统达到61.4%的准确率（70个样本中正确43个），而TransMat-NAM达到58.6%的准确率。
• RMNN模型在知识迁移方面表现更优，能够在仅用少量训练样本的情况下快速适应新关系，且在原始关系上的性能未出现下降。
• 模型成功捕捉了直观的常识关系，例如“call”事件后“not successful”的概率高于“be called”事件，与人类推理一致。
• 在打电话场景中，模型基于更高的P(not successful|call) = 0.7299（相比P(not successful|be called) = 0.5430）正确识别出Paul未成功。
• 在情绪因果关系方面，模型正确推断出‘Jim was upset’，因为P(yell|be upset) = 0.9296高于P(be yelled|be upset) = 0.8785，并在另一场景中正确识别出Kevin是被安慰的对象。