[论文解读] Neuro-symbolic Architectures for Context Understanding

Alessandro Oltramari, Jonathan Francis+3 more|arXiv (Cornell University)|Mar 9, 2020

Topic Modeling参考文献 41被引用 12

一句话总结

本文提出了一种神经符号架构，将知识图谱与深度神经网络相结合，以增强人工智能中的上下文理解能力，在自动驾驶和问答系统中实现了可解释且高性能的系统。通过融合数据驱动学习与符号知识，该方法在保持模型可解释性的同时，在视觉场景理解和常识推理任务中达到或超越当前最先进水平。

ABSTRACT

Computational context understanding refers to an agent's ability to fuse disparate sources of information for decision-making and is, therefore, generally regarded as a prerequisite for sophisticated machine reasoning capabilities, such as in artificial intelligence (AI). Data-driven and knowledge-driven methods are two classical techniques in the pursuit of such machine sense-making capability. However, while data-driven methods seek to model the statistical regularities of events by making observations in the real-world, they remain difficult to interpret and they lack mechanisms for naturally incorporating external knowledge. Conversely, knowledge-driven methods, combine structured knowledge bases, perform symbolic reasoning based on axiomatic principles, and are more interpretable in their inferential processing; however, they often lack the ability to estimate the statistical salience of an inference. To combat these issues, we propose the use of hybrid AI methodology as a general framework for combining the strengths of both approaches. Specifically, we inherit the concept of neuro-symbolism as a way of using knowledge-bases to guide the learning progress of deep neural networks. We further ground our discussion in two applications of neuro-symbolism and, in both cases, show that our systems maintain interpretability while achieving comparable performance, relative to the state-of-the-art.

研究动机与目标

• 为解决纯数据驱动或纯知识驱动人工智能的局限性，通过整合两种方法以改善上下文理解。
• 通过结合感知与符号知识的计算机制，实现可解释的人工智能。
• 在自动驾驶和问答等实际应用中，证明神经符号框架的有效性。
• 研究不同知识注入方法（注意力机制与预训练）对多样化推理任务中模型性能的影响。
• 探索问题类型与知识库内容之间的对齐关系，以实现最优推理结果。

提出的方法

• 从真实世界数据集构建知识图谱——例如城市驾驶场景，以及来自ConceptNet和ATOMIC的常识知识。
• 学习连续向量空间表示（知识图谱嵌入），以捕捉视觉与语言概念之间的语义关系。
• 使用深度神经网络作为非线性函数逼近器，估计语义相似性，并在视觉与文本情境中做出决策。
• 通过注意力机制将外部知识注入预训练语言模型，以引导候选答案的推理过程。
• 在领域特定知识库（如ATOMIC）上对语言模型进行预训练，以使模型归纳偏置偏向于相关推理模式。
• 设计一种混合框架，其中神经感知受符号知识引导，实现可解释的推理与决策。

实验结果

研究问题

• RQ1 如何有效利用知识图谱引导深度神经网络在自动驾驶场景理解中的视觉场景理解？
• RQ2 不同知识注入策略（注意力机制与预训练）对问答性能有何影响？
• RQ3 问题类型与知识库内容之间的对齐关系如何影响模型准确率与推理能力？
• RQ4 神经符号集成能否在保持可解释性的同时，在上下文理解任务中实现最先进性能？
• RQ5 当前模型在处理否定或反义词相关问题时存在哪些局限性？

主要发现

• 神经符号集成保留了视觉场景中的语义关系，使模型即使在环境条件变化时也能实现准确的风险评估。
• 知识图谱嵌入成功捕捉了视觉场景的概念结构，使神经网络能够检测语义相似但视觉上不同的场景。
• 在知识库对齐不佳的情境下，基于注意力的知识注入优于预训练方法，且不会降低性能。
• 在ATOMIC等知识库上进行预训练可提升与该知识库关系结构对齐的问题的性能，即使整体性能较低。
• 涉及反义词或否定的问题仍具挑战性，表明神经模型在逻辑否定推理方面仍需改进。
• 当知识库与任务领域高度对齐时，注意力注入与预训练相结合的方法可进一步提升性能。