[论文解读] Neurosymbolic AI: The 3rd Wave

Artur d’Avila Garcez, Luís C. Lamb|arXiv (Cornell University)|Dec 10, 2020

Advanced Memory and Neural Computing被引用 76

一句话总结

本文主张人工智能的第三波，将神经网络学习与符号知识表示和逻辑推理紧密结合，以提升信任、可解释性和问责性。它综述基础结果，讨论表示、分类体系，以及神经符号系统的有前景方向。

ABSTRACT

Current advances in Artificial Intelligence (AI) and Machine Learning (ML) have achieved unprecedented impact across research communities and industry. Nevertheless, concerns about trust, safety, interpretability and accountability of AI were raised by influential thinkers. Many have identified the need for well-founded knowledge representation and reasoning to be integrated with deep learning and for sound explainability. Neural-symbolic computing has been an active area of research for many years seeking to bring together robust learning in neural networks with reasoning and explainability via symbolic representations for network models. In this paper, we relate recent and early research results in neurosymbolic AI with the objective of identifying the key ingredients of the next wave of AI systems. We focus on research that integrates in a principled way neural network-based learning with symbolic knowledge representation and logical reasoning. The insights provided by 20 years of neural-symbolic computing are shown to shed new light onto the increasingly prominent role of trust, safety, interpretability and accountability of AI. We also identify promising directions and challenges for the next decade of AI research from the perspective of neural-symbolic systems.

研究动机与目标

• 动机：说明将学习与符号推理结合的必要性，以解决 AI 中的信任、安全和可解释性问题。
• 综述历史与当代的神经符号结果，以识别强健 AI 系统的核心要素。
• 澄清表示范式（分布式与局部表示）及其在学习和推理中的作用。
• 组织神经符号方法的分类法，并讨论实际的整合策略。
• 概述神经符号 AI 在未来十年内的有希望的发展方向与挑战。

提出的方法

• 回顾并综合神经符号研究及相关 AI 争论的二十年。
• 分析分布式表示与局部表示在连接学习与推理中的作用。
• 考察神经符号整合形式，包括基于嵌入的和符号编译的方法。
• 评估神经符号系统的分类法（Kautz 的框架），并将其映射到实际设计选择。
• 讨论适合神经整合的逻辑形式（包括非常规逻辑）。
• 提出开发真正整合（Type 6）神经符号系统的标准与方向。

实验结果

研究问题

• RQ1 有效的神经符号 AI 需要哪些基本构件和组成要素？
• RQ2 应如何桥接分布式表示与局部表示，以实现可靠的推理和学习？
• RQ3 当前的神经符号系统及其整合策略最合适的分类法是什么？
• RQ4 不同整合形式（集成型与松耦合型）在真实世界任务中的优点与局限性是什么？
• RQ5 在未来十年，哪些方向最有前景，以实现健壮、可解释且具备组合推理能力的 AI？

主要发现

• 神经符号 AI 旨在将稳健的学习与符号知识和逻辑推理结合起来，以实现可解释性和外推性。
• 存在多种整合形式，从松耦合到紧密集成的神经符号系统均有。
• 分布式表示与局部表示各自具有优势；桥接它们是处理不确定性推理进展的核心。
• 一种分类法（尤其是 Kautz 的）将系统从 Type 1 到 Type 6 分类，强调在神经引擎中走向真正的符号推理的过程。
• 当前工作表明非经典逻辑和多值逻辑为描述神经网络提供了有用的语言。
• 尽管取得进展，但实现具备可扩展组合推理的完全型 Type 6 系统仍是一个开放目标，指引未来研究。