[论文解读] Self-Attentive Associative Memory

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Feb 9, 2020

Topic Modeling被引用 6

一句话总结

本文提出自注意关联记忆（Self-Attentive Associative Memory, SAM），一种新型神经网络模块，通过外积运算将项目记忆与关系记忆分离，以建模记忆元素之间的高阶关系。该方法实现了记忆存储与关系推理的端到端学习，在几何、图学习和问答等多种任务中表现出色。

ABSTRACT

Heretofore, neural networks with external memory are restricted to single memory with lossy representations of memory interactions. A rich representation of relationships between memory pieces urges a high-order and segregated relational memory. In this paper, we propose to separate the storage of individual experiences (item memory) and their occurring relationships (relational memory). The idea is implemented through a novel Self-attentive Associative Memory (SAM) operator. Found upon outer product, SAM forms a set of associative memories that represent the hypothetical high-order relationships between arbitrary pairs of memory elements, through which a relational memory is constructed from an item memory. The two memories are wired into a single sequential model capable of both memorization and relational reasoning. We achieve competitive results with our proposed two-memory model in a diversity of machine learning tasks, from challenging synthetic problems to practical testbeds such as geometry, graph, reinforcement learning, and question answering.

研究动机与目标

• 克服现有外部记忆神经网络的局限性，这些网络依赖于记忆交互的单一、有损表示。
• 通过显式建模记忆元素之间的关系，超越简单存储，实现高阶关系推理。
• 设计一种统一的序列模型，整合项目记忆与关系记忆，实现记忆与推理的联合处理。
• 提升在需要关系推理的复杂任务（如问答和强化学习）中的性能。
• 在多样化的机器学习基准上展示双记忆架构的有效性。

提出的方法

• SAM 算子通过项目记忆向量之间的外积构建关系记忆，形成高维关联记忆矩阵。
• 矩阵中的每个条目代表两个记忆元素之间的假设性高阶关系，实现丰富的关系表征。
• 模型使用自注意力机制，在推理过程中动态关注相关的关系模式。
• 项目记忆存储个体经验，而关系记忆捕捉它们之间的相互作用与结构关系。
• 两种记忆流整合进单一序列架构，支持记忆与推理目标的端到端训练。
• 该框架支持可微学习，实现对两类记忆的梯度优化。

实验结果

研究问题

• RQ1 神经网络架构能否有效分离项目记忆与关系记忆，以提升推理能力？
• RQ2 通过外积构建的高阶关系记忆，在多样任务中能否有效捕捉复杂关系？
• RQ3 整合项目记忆与关系记忆是否能提升需要关系推理的任务的性能？
• RQ4 所提出的 SAM 算子能否在合成与真实世界基准上泛化，包括图学习与强化学习任务？
• RQ5 在记忆与推理性能方面，SAM 模型相较于现有记忆增强网络表现如何？

主要发现

• SAM 模型在需要关系推理的挑战性合成任务中表现优异，证明其学习复杂模式的能力。
• 该模型在实际测试平台（包括几何推理、基于图的任务和问答）中展现出强大的泛化能力。
• 通过分离项目记忆与关系记忆，该架构相比单记忆替代方案能提供更具表现力和结构化的表征。
• 利用外积构建关联记忆，可在无需关系显式监督的情况下实现高阶关系建模。
• 端到端可训练设计支持在多样化领域中有效联合学习记忆与关系推理。
• 该方法在视觉问答与强化学习环境等基准上表现优于或匹配现有记忆增强网络。