[论文解读] Neurocompositional computing: From the Central Paradox of Cognition to a new generation of AI systems

Paul Smolensky, R. Thomas McCoy+3 more|arXiv (Cornell University)|May 2, 2022

Cognitive Science and Mapping被引用 4

一句话总结

本文提出神经组合计算——一种将组合性与连续性原则统一的新人工智能范式，可实现稳健、可解释且可泛化的智能。通过利用张量积表示（TPRs）和一种称为神经编码组合结构张量（NECST）的形式化方法，该方法实现了更深层次的组合泛化和更强的模型可解释性，克服了标准深度学习系统的若干关键局限。

ABSTRACT

What explains the dramatic progress from 20th-century to 21st-century AI, and how can the remaining limitations of current AI be overcome? The widely accepted narrative attributes this progress to massive increases in the quantity of computational and data resources available to support statistical learning in deep artificial neural networks. We show that an additional crucial factor is the development of a new type of computation. Neurocompositional computing adopts two principles that must be simultaneously respected to enable human-level cognition: the principles of Compositionality and Continuity. These have seemed irreconcilable until the recent mathematical discovery that compositionality can be realized not only through discrete methods of symbolic computing, but also through novel forms of continuous neural computing. The revolutionary recent progress in AI has resulted from the use of limited forms of neurocompositional computing. New, deeper forms of neurocompositional computing create AI systems that are more robust, accurate, and comprehensible.

研究动机与目标

• 通过识别神经组合计算作为潜在的计算框架，解决认知的核心悖论——即人类水平智能如何从连续的神经过程中产生，同时保持组合结构。
• 诊断20世纪及当前21世纪人工智能的局限性源于未能同时尊重组合性与连续性原则的架构。
• 证明近期人工智能进展在一定程度上得益于神经组合计算的隐式涌现，即使仅以有限形式存在。
• 通过NECST形式化方法，提出对神经组合计算的更深层次实现，以实现更稳健和可解释的AI系统。
• 展示NECST模型如何通过将组合结构直接嵌入连续向量表示中，提升泛化能力、可控性与可解释性。

提出的方法

• 利用张量积表示（TPRs）在连续向量空间中编码组合结构，使离散符号式结构能够嵌入连续神经激活中。
• 在TPRs中使用绑定与置换操作，表示复杂且分层的结构（如短语和句子），实现对新组合的组合泛化。
• 提出神经编码组合结构张量（NECST）形式化方法，系统地在连续向量空间中表示和处理具有显式组合结构的知识。
• 设计明确偏向利用TPR中解耦表示的神经网络架构，促进训练过程中组合泛化。
• 实施基于优化的处理，使符号意义能根据结构上下文动态适应，增强推理能力与上下文敏感性。
• 将NECST应用于自然语言处理任务，实现对内部表示的精确、可解释的修改，通过向量算术直接控制输出行为。

实验结果

研究问题

• RQ1 如何使连续神经计算同时支持组合结构与连续处理，从而解决符号主义与连接主义方法之间长期存在的张力？
• RQ2 当前深度学习系统在多大程度上隐式实现了神经组合计算？这种实现在已知局限性下如何解释其成功？
• RQ3 与标准深度学习相比，NECST这类形式化方法是否能实现更深层次的组合泛化与更好的可解释性？
• RQ4 如何设计神经网络，使其主动利用表示中的组合结构，而非偶然习得？
• RQ5 上下文敏感、基于优化的意义自适应在增强AI系统鲁棒性与准确性方面发挥何种作用？

主要发现

• 通过TPRs和NECST实现的神经组合计算，使AI系统能够使用向量算术对内部表示进行精确、可解释的修改，例如通过加减意义向量来改变行为。
• NECST形式化方法允许将嵌套与分层结构（如‘unlockedable’）嵌入连续向量表示中，实现更丰富的组合泛化。
• 通过在TPRs中显式解耦内容与角色，模型实现了更优的泛化与控制能力，例如通过一系列向量操作，将8个词的复杂输入准确转换为30个词的输出。
• 该方法通过内部修改实现高精度行为控制：例如，通过将‘twice’的向量编码修改为‘thrice’，实现将‘jump twice’变为‘jump thrice’。
• 基于NECST的模型展现出更强的鲁棒性与可解释性，降低了标准深度学习系统的不透明性，并在现实应用中增强了可控性。
• 未来的3G神经组合计算系统将整合基于优化的处理、结构嵌套与架构偏置，以充分挖掘组合结构潜力，为语言与推理领域带来重大突破。