[论文解读] The Relational Bottleneck as an Inductive Bias for Efficient Abstraction

Taylor W. Webb, Steven Frankland+10 more|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用 5

一句话总结

本文提出了关系瓶颈（relational bottleneck）——一种神经符号归纳偏置，它限制神经网络仅处理对象之间的关系，从而实现抽象概念的数据高效学习。通过聚焦于关系模式而非特定对象的特征，该方法实现了快速泛化与系统性推理，为在人工系统和生物系统中建模类人抽象提供了一个统一框架。

ABSTRACT

A central challenge for cognitive science is to explain how abstract concepts are acquired from limited experience. This has often been framed in terms of a dichotomy between connectionist and symbolic cognitive models. Here, we highlight a recently emerging line of work that suggests a novel reconciliation of these approaches, by exploiting an inductive bias that we term the relational bottleneck. In that approach, neural networks are constrained via their architecture to focus on relations between perceptual inputs, rather than the attributes of individual inputs. We review a family of models that employ this approach to induce abstractions in a data-efficient manner, emphasizing their potential as candidate models for the acquisition of abstract concepts in the human mind and brain.

研究动机与目标

• 为解决人类如何从有限经验中习得抽象概念的问题，特别是符号模型与连接主义模型在认知上的鸿沟。
• 提出一种新颖的归纳偏置——'关系瓶颈'，通过优先考虑关系而非特征表示，弥合符号与连接主义方法之间的差距。
• 证明该归纳偏置可实现无需预设符号原语的抽象关系概念的数据高效学习。
• 探索关系瓶颈作为人类大脑中抽象的生物合理机制以及人工智能可扩展原则的潜力。

提出的方法

• 将关系瓶颈形式化为一种信息论归纳偏置，限制信息流仅限于对象之间的关系模式（例如，相同/不同）。
• 通过神经网络架构实现瓶颈，将输入编码为嵌入表示，并通过内积或注意力机制等操作计算关系。
• 采用两阶段训练过程：首先，感知头提取对象级特征；其次，关系头处理成对关系，通过架构约束强制实施瓶颈。
• 在需要系统性泛化的任务（如类比推理和关系模式检测）中应用瓶颈，使用包含对象新组合的数据集。
• 集成外部记忆或注意力机制以支持基于相似性的检索和类似情景的学习，与认知神经科学发现一致。
• 在分布外关系模式上评估泛化性能，测量零样本和少样本设置下的表现。

Figure 1 : The relational bottleneck. An inductive bias that prioritizes the representation of relations (e.g., ‘same’ vs. ‘different’), and discourages the representation of the features of individual objects (e.g., the shape or color of the objects in the images above). The result is that downstre

实验结果

研究问题

• RQ1 关系归纳偏置是否能促使神经网络从有限数据中高效学习抽象概念，从而模拟类人数据效率？
• RQ2 关系瓶颈如何支持对训练期间未见过的新关系模式的系统性泛化？
• RQ3 关系瓶颈在多大程度上能够解释人类推理中的内容效应，即抽象推理如何受特定感知内容的调节？
• RQ4 关系瓶颈在大脑中可能如何实现？哪些神经结构（例如海马体、前额叶皮层）可能支持其功能？
• RQ5 关系瓶颈能否扩展至符号或神经符号系统（如程序归纳模型），以增强其归纳偏置与泛化能力？

主要发现

• 关系瓶颈使神经网络能够以显著更少的样本学习关系模式，实现数据高效抽象。
• 具备关系瓶颈的模型能对分布外关系模式实现系统性泛化，在类比任务上表现出与人类水平相当的零样本迁移性能。
• 该方法无需预设符号原语，与传统神经符号模型相区别，支持抽象概念的端到端学习。
• 关系瓶颈与认知神经科学发现一致，尤其体现在海马体在基于相似性的检索与关系映射中的作用。
• 整合瓶颈的架构在需要流体推理与类比泛化的任务中表现更优，即使在有限数据上训练亦然。
• 关系瓶颈提供了一个统一框架，通过在可微、可学习的神经架构中嵌入类符号处理，弥合符号与连接主义方法之间的鸿沟。