[论文解读] Neural Production Systems

Anirudh Goyal, Aniket Didolkar+6 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Graph Neural Networks参考文献 72被引用 21

一句话总结

该论文提出神经生成系统（Neural Production Systems），一种神经符号架构，通过变量替换将规则模板与实体绑定，从而在视觉环境中实现动态、基于实体的推理。该方法在未来状态预测任务中优于基于图神经网络（GNN）的方法，并通过解耦实体特异性知识与基于规则的交互知识，实现了从简单到复杂视觉环境的泛化能力。

ABSTRACT

Visual environments are structured, consisting of distinct objects or entities. These entities have properties -- both visible and latent -- that determine the manner in which they interact with one another. To partition images into entities, deep-learning researchers have proposed structural inductive biases such as slot-based architectures. To model interactions among entities, equivariant graph neural nets (GNNs) are used, but these are not particularly well suited to the task for two reasons. First, GNNs do not predispose interactions to be sparse, as relationships among independent entities are likely to be. Second, GNNs do not factorize knowledge about interactions in an entity-conditional manner. As an alternative, we take inspiration from cognitive science and resurrect a classic approach, production systems, which consist of a set of rule templates that are applied by binding placeholder variables in the rules to specific entities. Rules are scored on their match to entities, and the best fitting rules are applied to update entity properties. In a series of experiments, we demonstrate that this architecture achieves a flexible, dynamic flow of control and serves to factorize entity-specific and rule-based information. This disentangling of knowledge achieves robust future-state prediction in rich visual environments, outperforming state-of-the-art methods using GNNs, and allows for the extrapolation from simple (few object) environments to more complex environments.

研究动机与目标

• 解决图神经网络（GNN）在建模视觉实体之间稀疏、结构化交互方面的局限性。
• 实现基于规则的动态推理，该推理依赖于特定实体及其属性。
• 通过解耦实体特异性知识与基于规则的交互知识，提升泛化能力。
• 通过结构化、可解释的推理，实现在复杂视觉环境中的鲁棒未来状态预测。
• 实现从少量对象环境到更复杂环境的外推能力，这是标准GNN方法面临的挑战。

提出的方法

• 模型使用带有占位符变量的规则模板，在推理过程中将这些变量绑定到场景中的特定实体。
• 根据规则与实体属性的匹配程度对规则进行评分，选择得分最高的规则以更新实体状态。
• 系统采用可微分的评分机制，以可微分、端到端可训练的方式选择并应用规则。
• 基于最相关规则的应用结果更新实体表征，从而实现动态的状态演化。
• 该架构融合了认知科学中的结构归纳偏置，将交互建模为条件性规则应用，而非固定图连接。
• 该方法将知识分解为实体特异性特征与基于规则的交互逻辑，促进知识解耦与可解释性。

实验结果

研究问题

• RQ1 与GNN相比，基于规则的推理结合实体绑定是否能提升视觉环境中未来状态的预测性能？
• RQ2 该系统能否从简单（少量对象）环境泛化到更复杂的环境？
• RQ3 该模型能否有效解耦实体特异性知识与基于规则的交互知识？
• RQ4 生成系统中动态的控制流与GNN中固定的消息传递机制相比有何差异？
• RQ5 该架构在多大程度上支持对训练分布之外的环境进行外推？

主要发现

• 神经生成系统在丰富视觉环境中，未来状态预测性能优于当前最先进的基于GNN的方法。
• 该模型能有效从少量对象的训练环境泛化到更复杂、未见过的配置。
• 通过解耦实体特异性知识与基于规则的交互知识，模型在分布偏移下仍能实现鲁棒推理。
• 系统通过基于实体匹配的选择性规则应用，展现出灵活、动态的控制流。
• 该架构支持外推到训练过程中未见过的、包含更多对象的环境，这是相对于GNN的一项关键优势。
• 使用带变量绑定的规则模板，使模型在视觉场景中实现了可解释且结构化的推理。