[论文解读] The Tensor Memory Hypothesis

Volker Tresp, Yunpu Ma|arXiv (Cornell University)|Aug 9, 2017

Tensor decomposition and applications参考文献 47被引用 8

一句话总结

该论文提出了一种基于张量分解的框架，通过共享实体、谓词和时间的潜在表征，对情景记忆和语义记忆进行建模。它展示了感知、情景记忆的形成以及语义解码如何都依赖于相同的数学结构，为情景经验如何使新皮层形成语义记忆提供了生物学上合理的机制，从而解决了多重痕迹理论（MTT）和互补学习系统（CLS）框架中的核心挑战。

ABSTRACT

We discuss memory models which are based on tensor decompositions using latent representations of entities and events. We show how episodic memory and semantic memory can be realized and discuss how new memory traces can be generated from sensory input: Existing memories are the basis for perception and new memories are generated via perception. We relate our mathematical approach to the hippocampal memory indexing theory. We describe the first detailed mathematical models for the complete processing pipeline from sensory input and its semantic decoding, i.e., perception, to the formation of episodic and semantic memories and their declarative semantic decodings. Our main hypothesis is that perception includes an active semantic decoding process, which relies on latent representations of entities and predicates, and that episodic and semantic memories depend on the same decoding process. We contribute to the debate between the leading memory consolidation theories, i.e., the standard consolidation theory (SCT) and the multiple trace theory (MTT). The latter is closely related to the complementary learning systems (CLS) framework. In particular, we show explicitly how episodic memory can teach the neocortex to form a semantic memory, which is a core issue in MTT and CLS.

研究动机与目标

• 开发一种基于张量分解的、数学上严谨且生物学上合理的陈述性记忆模型。
• 在共享的潜在实体与谓词表征框架下，统一情景记忆、语义记忆与感知。
• 解决多重痕迹理论（MTT）和互补学习系统（CLS）的核心问题：情景记忆如何使新皮层形成语义记忆。
• 将所提出的模型与海马体记忆索引理论联系起来，将神经索引与记忆的形成和检索联系起来。
• 证明语义解码感官输入与记忆形成是统一的过程，依赖于共享的潜在表征。

提出的方法

• 实体（如人物、地点）和谓词（如“知道”）在共享嵌入空间中表示为潜在向量。
• 语义记忆被建模为一个三阶张量，三元组 (s,p,o) 的概率通过一个逻辑函数计算，该函数基于Tucker张量分解：$ P((s,p,o)) = \text{sig}(\theta_{s,p,o}) $，其中 $ \theta_{s,p,o} = f^s(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}) $。
• 情景记忆通过引入时间扩展为四阶张量，其中 $ P((s,p,o,t)) = \text{sig}(\theta_{s,p,o,t}) $，且 $ \theta_{s,p,o,t} = f^e(\mathbf{a}_{e_s}, \mathbf{a}_{e_p}, \mathbf{a}_{e_o}, \mathbf{a}_{e_t}) $，使用四模Tucker分解。
• 感知被建模为一种主动的语义解码过程：感官输入被映射到潜在表征，然后通过相同的张量框架解码为陈述性语句。
• 该模型明确展示了如何利用重复的情景痕迹来训练新皮层形成稳定的语义表征，与MTT和CLS理论一致。
• 该框架假设索引（如概念细胞）在感觉皮层和联合皮层中激活分布式表征，从而实现对过去经验的重建。

实验结果

研究问题

• RQ1 如何在潜在表征的统一框架下，数学地统一情景记忆与语义记忆？
• RQ2 感知如何依赖于记忆形成与检索中所用的相同潜在表征？
• RQ3 情景记忆能否以与多重痕迹理论（MTT）和互补学习系统（CLS）一致的方式，使新皮层形成语义记忆？
• RQ4 海马体记忆索引理论如何与基于张量的记忆模型整合？
• RQ5 语义解码在将感官输入转化为可报告的陈述性知识中起什么作用？

主要发现

• 该论文首次提供了详细的数学模型，展示了情景记忆痕迹如何被用来训练新皮层形成语义记忆，直接解决了MTT和CLS中的核心挑战。
• 语义记忆被建模为一个三阶张量分解，其中事实 (s,p,o) 的概率由主体、谓词和宾语的潜在向量函数决定，核心张量编码了关系知识。
• 情景记忆被建模为一个四阶张量，包含时间维度，相同的张量分解框架被扩展到四个模式，实现了对事件特异性记忆的表示。
• 该模型表明，感知并非被动过程，而是一种主动的语义解码过程，依赖于与记忆中相同的潜在表征，从而实现对感官输入的可报告、陈述性理解。
• 该框架支持索引（如概念细胞）激活分布式皮层模式的观点，重建过去事件的多模态特征，与人类和动物研究的神经证据一致。
• 该模型表明，情景记忆痕迹的边际化——推导语义知识所必需的——在仅限于和积模型（如张量分解）中在数学上是可行的，这暗示了该架构具有生物学上的合理性。