[论文解读] Resonator networks for factoring distributed representations of data structures

E. Paxon Frady, Spencer J. Kent+2 more|arXiv (Cornell University)|Jul 7, 2020

Neural Networks and Reservoir Computing参考文献 45被引用 9

一句话总结

本文提出共振器网络（resonator networks），一种新颖的循环神经网络架构，能够高效解决向量符号架构（Vector Symbolic Architectures, VSAs）中的组合分解问题，从而实现从分布式向量表示中解码复杂、分层的数据结构（如树和视觉场景）。该方法通过交错执行VSA乘法和模式补全操作，对高维乘积向量进行分解，展示了在解析结构化数据方面具有极低计算开销的鲁棒性能。

ABSTRACT

The ability to encode and manipulate data structures with distributed neural representations could qualitatively enhance the capabilities of traditional neural networks by supporting rule-based symbolic reasoning, a central property of cognition. Here we show how this may be accomplished within the framework of Vector Symbolic Architectures (VSA) (Plate, 1991; Gayler, 1998; Kanerva, 1996), whereby data structures are encoded by combining high-dimensional vectors with operations that together form an algebra on the space of distributed representations. In particular, we propose an efficient solution to a hard combinatorial search problem that arises when decoding elements of a VSA data structure: the factorization of products of multiple code vectors. Our proposed algorithm, called a resonator network, is a new type of recurrent neural network that interleaves VSA multiplication operations and pattern completion. We show in two examples -- parsing of a tree-like data structure and parsing of a visual scene -- how the factorization problem arises and how the resonator network can solve it. More broadly, resonator networks open the possibility to apply VSAs to myriad artificial intelligence problems in real-world domains. A companion paper (Kent et al., 2020) presents a rigorous analysis and evaluation of the performance of resonator networks, showing it out-performs alternative approaches.

研究动机与目标

• 为了解决通过向量符号架构（VSAs）编码的复杂、分层数据结构的解码挑战，该挑战需要解决一个困难的组合搜索问题。
• 开发一种生物上合理且计算高效的VSA方法，用于分解多个高维编码向量的乘积。
• 通过从复合数据结构的分布式表示中解码出基本组成元素，使神经网络能够执行符号推理。
• 展示共振器网络在真实世界AI任务（如视觉场景解析和树结构分解）中的实用性。
• 为基于VSA的推理系统提供一种可扩展的替代方案，以替代暴力枚举或有限深度的方法。

提出的方法

• 提出共振器网络作为一种循环神经网络架构，交替执行VSA乘法和模式补全过程。
• 利用反馈机制迭代优化乘积表示中各组成向量的估计值。
• 采用固定大小的高维向量空间（例如500D）以全息方式表示数据结构，从而保留结构信息。
• 通过最近邻检索或自联想检索实现模式补全，从乘积中恢复单个编码向量。
• 整合VSA理论中的置换和乘法操作，以构建和操作分层表示。
• 采用混合训练方法，使网络学习将输入数据（如图像）映射到编码组合结构的符号化VSA表示。

实验结果

研究问题

• RQ1 共振器网络能否高效解决VSAs中由多个编码向量构成的高维乘积向量的分解问题？
• RQ2 共振器网络在从分布式表示中解析树或视觉场景等分层数据结构方面表现如何？
• RQ3 在准确性和计算效率方面，共振器网络能否优于暴力枚举或有限深度的VSA解码策略？
• RQ4 在不依赖端到端黑箱训练的前提下，共振器网络在多大程度上能够支持神经网络中的符号推理？
• RQ5 共振器网络能否被集成到深度学习流水线中，以实现在组合爆炸性大空间中的结构化推理？

主要发现

• 共振器网络能够以高精度成功分解表示复杂数据结构（如树和视觉场景）的高维乘积向量。
• 该方法在解码准确性和计算效率方面优于其他替代方法，包括暴力枚举和简单自联想方法。
• 在视觉场景解析中，采用共振器解码的VSA表示仅用一个500维向量即可处理高达2.5亿种可能的对象-属性组合。
• 该网络对噪声和干扰表现出强鲁棒性，在中等程度扰动下仍能保持准确的分解性能。
• 该方法通过分解暴露并操纵数据结构的各个组成部分，使神经网络能够实现符号推理。
• 配套评估论文（Kent et al., 2020）证实，与现有方法相比，共振器网络在分解任务上实现了更优的性能。