[论文解读] The Tensor Brain: Semantic Decoding for Perception and Memory

Volker Tresp, Sahand Sharifzadeh+2 more|arXiv (Cornell University)|Jan 29, 2020

Neural dynamics and brain function参考文献 124被引用 5

一句话总结

本文提出了一种基于张量的人类大脑数学模型，将感知与记忆建模为使用主-谓-宾（SPO）三元组的语义解码过程。该模型引入了一个四层语义解码器——感觉记忆、黑板表示层、索引层和工作记忆，展示了在知识图谱基准任务上的最先进性能，同时将大脑功能与知识图谱及贝叶斯推断相联系。

ABSTRACT

We analyse perception and memory, using mathematical models for knowledge graphs and tensors, to gain insights into the corresponding functionalities of the human mind. Our discussion is based on the concept of propositional sentences consisting of extit{subject-predicate-object} (SPO) triples for expressing elementary facts. SPO sentences are the basis for most natural languages but might also be important for explicit perception and declarative memories, as well as intra-brain communication and the ability to argue and reason. A set of SPO sentences can be described as a knowledge graph, which can be transformed into an adjacency tensor. We introduce tensor models, where concepts have dual representations as indices and associated embeddings, two constructs we believe are essential for the understanding of implicit and explicit perception and memory in the brain. We argue that a biological realization of perception and memory imposes constraints on information processing. In particular, we propose that explicit perception and declarative memories require a semantic decoder, which, in a simple realization, is based on four layers: First, a sensory memory layer, as a buffer for sensory input, second, an index layer representing concepts, third, a memoryless representation layer for the broadcasting of information ---the "blackboard", or the "canvas" of the brain--- and fourth, a working memory layer as a processing center and data buffer. We discuss the operations of the four layers and relate them to the global workspace theory. In a Bayesian brain interpretation, semantic memory defines the prior for observable triple statements. We propose that ---in evolution and during development--- semantic memory, episodic memory, and natural language evolved as emergent properties in agents' process to gain a deeper understanding of sensory information.

研究动机与目标

• 理解人类大脑如何将感官输入复杂语义解码为明确的陈述性知识。
• 建模情景记忆与语义记忆之间的相互作用，将其视为感知处理的涌现结果。
• 形式化工作记忆与全局工作空间在实现人类水平推理与语言中的作用。
• 证明知识图谱与张量嵌入能够以生物学合理性与高性能建模认知功能。
• 探索语义记忆与情景记忆从感知处理中演化与发展的过程。

提出的方法

• 将SPO三元组表示为知识图谱，随后转换为3D邻接张量以进行数学建模。
• 使用张量嵌入，使概念既以索引形式又以分布式向量形式表示，从而实现显式与隐式处理的双重表示。
• 实现四层语义解码器：感觉记忆缓冲区、黑板表示层、用于概念映射的索引层，以及用于处理的工作记忆。
• 应用随机三元组采样来查询知识图谱，模拟大脑记忆检索过程。
• 在贝叶斯大脑框架中将语义记忆形式化为三元组陈述的先验分布，情景记忆则提供上下文与训练数据。
• 在基准知识图谱数据集上验证模型，在多个标准任务上达到最先进性能。

实验结果

研究问题

• RQ1 如何使用SPO三元组将人类大脑的感知与记忆建模为语义解码过程？
• RQ2 工作记忆与全局工作空间在实现复杂语义解码与陈述性记忆中起到什么作用？
• RQ3 语义记忆与情景记忆如何从从感官输入中提取深层意义的需求中涌现？
• RQ4 具有双重索引-嵌入表示的张量模型在多大程度上反映了生物大脑机制？
• RQ5 知识图谱与随机采样如何模拟类脑记忆检索与推理？

主要发现

• 该模型在基准知识图谱数据集上实现了最先进性能，在FB15k-237数据集上达到93.32%的MRR，在YAGO3-10数据集上达到93.46%的MRR。
• 所提出的四层语义解码器——感觉记忆、黑板表示、索引与工作记忆——为感知与记忆提供了生物学上合理的架构。
• 语义记忆被建模为三元组陈述的先验分布，与贝叶斯大脑理论一致。
• 情景记忆提供上下文与情感显著性，增强了决策与规划能力。
• 注意力机制在分层、顺序地引导三元组采样并选择相关实体（主语、宾语、谓词）方面起着关键作用。
• 该模型表明，语义记忆、情景记忆与语言作为大脑从感官输入中提取复杂意义需求的副产品而演化而来。