[论文解读] Superposed Episodic and Semantic Memory via Sparse Distributed Representation

Gerard Rinkus, Jasmin Léveillé|arXiv (Cornell University)|Oct 21, 2017

Domain Adaptation and Few-Shot Learning参考文献 23被引用 3

一句话总结

本文提出Sparsey，一种分层关联记忆模型，通过稀疏分布式表示（SDRs）统一情景记忆与语义记忆。通过将输入以叠加方式存储为SDR，该模型实现了单次试错学习，使输入空间中的相似性在编码空间中以交集形式保留，无需单独训练即可自然形成生成式语义模型。初步结果表明，该模型在MNIST和视频识别任务上实现了快速学习（CPU上仅需数分钟），尽管准确率未达最先进水平。

ABSTRACT

The abilities to perceive, learn, and use generalities, similarities, classes, i.e., semantic memory (SM), is central to cognition. Machine learning (ML), neural network, and AI research has been primarily driven by tasks requiring such abilities. However, another central facet of cognition, single-trial formation of permanent memories of experiences, i.e., episodic memory (EM), has had relatively little focus. Only recently has EM-like functionality been added to Deep Learning (DL) models, e.g., Neural Turing Machine, Memory Networks. However, in these cases: a) EM is implemented as a separate module, which entails substantial data movement (and so, time and power) between the DL net itself and EM; and b) individual items are stored localistically within the EM, precluding realizing the exponential representational efficiency of distributed over localist coding. We describe Sparsey, an unsupervised, hierarchical, spatial/spatiotemporal associative memory model differing fundamentally from mainstream ML models, most crucially, in its use of sparse distributed representations (SDRs), or, cell assemblies, which admits an extremely efficient, single-trial learning algorithm that maps input similarity into code space similarity (measured as intersection). SDRs of individual inputs are stored in superposition and because similarity is preserved, the patterns of intersections over the assigned codes reflect the similarity, i.e., statistical, structure, of all orders, not simply pairwise, over the inputs. Thus, SM, i.e., a generative model, is built as a computationally free side effect of the act of storing episodic memory traces of individual inputs, either spatial patterns or sequences. We report initial results on MNIST and on the Weizmann video event recognition benchmarks. While we have not yet attained SOTA class accuracy, learning takes only minutes on a single CPU.

研究动机与目标

• 为解决深度学习中对情景记忆关注不足的问题，提出将情景记忆与语义记忆统一于一个框架中。
• 克服现有记忆模块使用局部编码且需在神经网络与记忆之间进行大量数据移动的局限性。
• 利用稀疏分布式表示（SDRs）实现高效、单次试错学习，同时在编码空间中保留输入相似性。
• 证明语义记忆可作为情景记忆存储通过叠加实现的自然副产品。
• 在标准基准上实现快速、无监督学习，无需大量训练。

提出的方法

• 该模型使用稀疏分布式表示（SDRs），即“神经元集合”，以保留编码空间中通过交集实现的相似性方式对输入进行编码。
• 情景记忆以SDR形式在分层关联记忆结构中以叠加方式存储，从而实现高效检索与相似性检测。
• 学习规则通过SDR交集直接将输入相似性映射到编码空间相似性，避免了反向传播或单独训练的需要。
• 该模型以分层、空间/时空方式运行，使其能够同时学习静态模式与时间序列。
• 由于SDR交集中保留了统计结构，语义记忆作为情景记忆存储的自然副产品而生成。
• 该系统完全无监督，专为低计算成本设计，可在单个CPU上高效运行。

实验结果

研究问题

• RQ1 能否通过稀疏分布式表示在单一学习框架中统一情景记忆与语义记忆？
• RQ2 记忆中SDR的叠加是否可在无需显式训练的情况下实现相似性保持的表示？
• RQ3 基于SDR交集的单次试错学习算法能否实现有效的语义泛化？
• RQ4 该模型在MNIST和视频事件识别等标准基准上的表现如何，且无需反向传播或GPU加速？
• RQ5 通过SDR叠加，语义记忆在多大程度上可自然地从情景记忆存储中产生？

主要发现

• 该模型在MNIST和Weizmann视频事件识别基准上实现了快速学习，仅需在单个CPU上运行数分钟。
• 由于SDR交集的相似性保持特性，语义记忆作为情景记忆存储的自然副产品而产生。
• 该模型使用稀疏分布式表示以叠加方式存储输入，实现无需模块间数据移动的高效单次试错学习。
• 该系统通过编码空间中的基于交集的相似性，保留了输入数据中所有阶次的统计结构。
• 尽管未达到最先进准确率，该模型展示了计算高效、无监督的学习机制，成功整合了情景记忆与语义记忆。