[论文解读] Relational recurrent neural networks

Adam Santoro, Ryan Faulkner+8 more|arXiv (Cornell University)|Jun 5, 2018

Topic Modeling参考文献 36被引用 27

一句话总结

本文提出了关系记忆核心（RMC），一种用于循环神经网络的新型记忆模块，利用多头点积注意力机制实现记忆单元之间的显式交互。通过增强对序列信息的关联推理能力，RMC在语言建模（WikiText-103、GigaWord、Project Gutenberg）、程序评估以及Mini PacMan等强化学习任务中取得了最先进性能。

ABSTRACT

Memory-based neural networks model temporal data by leveraging an ability to remember information for long periods. It is unclear, however, whether they also have an ability to perform complex relational reasoning with the information they remember. Here, we first confirm our intuitions that standard memory architectures may struggle at tasks that heavily involve an understanding of the ways in which entities are connected -- i.e., tasks involving relational reasoning. We then improve upon these deficits by using a new memory module -- a extit{Relational Memory Core} (RMC) -- which employs multi-head dot product attention to allow memories to interact. Finally, we test the RMC on a suite of tasks that may profit from more capable relational reasoning across sequential information, and show large gains in RL domains (e.g. Mini PacMan), program evaluation, and language modeling, achieving state-of-the-art results on the WikiText-103, Project Gutenberg, and GigaWord datasets.

研究动机与目标

• 探究循环网络中的标准记忆架构是否在处理序列信息的复杂关联推理时容量不足。
• 设计一种记忆模块，显式支持存储记忆之间的交互，以提升随时间推移的关联推理能力。
• 在需要长距离依赖和关联推理的任务（如程序评估和语言建模）上评估所提出的RMC。
• 证明通过注意力机制实现的记忆-记忆显式交互，相比标准RNN和记忆增强网络，在序列推理任务上能取得更优性能。
• 分析架构选择（如记忆单元数量和注意力头数量）对模型在多样化任务上性能的影响。

提出的方法

• RMC用多头点积注意力（MHDPA）模块替代传统记忆机制，该模块在每个时间步计算记忆单元之间的交互。
• 模型采用固定数量的记忆单元，类似于记忆增强网络，但引入这些单元之间的注意力交互，以支持关联推理。
• 输入向量通过投影与记忆状态结合，采用残差连接，随后对记忆向量进行多头注意力计算以更新记忆矩阵。
• RMC以循环方式运行，逐个处理输入，维护一个随时间动态演化的记忆矩阵。
• 该架构整合了LSTM、记忆增强网络和Transformer的组件，尤其借鉴了Transformer编码器中的自注意力机制。
• 模型通过标准反向传播进行端到端训练，RMC模块可微分，且与标准优化技术兼容。

实验结果

研究问题

• RQ1 标准的记忆增强RNN和LSTM能否在序列信息上执行复杂的关联推理，还是缺乏记忆-记忆交互的显式机制？
• RQ2 在需要时间维度上关联推理的任务中，引入记忆单元之间的显式注意力交互是否能提升性能？
• RQ3 架构选择（如记忆单元数量和注意力头数量）如何影响模型的关联推理能力？
• RQ4 与标准RNN相比，RMC在低上下文或少样本设置下，是否在数据效率和泛化能力方面有显著提升？
• RQ5 RMC能否在多样化的序列推理任务（包括语言建模、程序评估和强化学习）中达到最先进性能？

主要发现

• RMC在WikiText-103语言建模基准上取得了最先进结果，困惑度优于先前模型。
• 在GigaWord和Project Gutenberg数据集上，RMC实现了新的最先进性能，展现出在多样化文本领域中的强大泛化能力。
• 在Mini PacMan强化学习环境中，RMC显著优于标准RNN基线模型，表明其在长时程规划和关联推理方面能力更强。
• RMC展现出更优的数据效率：即使在上下文词数有限的情况下也能取得高性能，优于需要更大上下文窗口的LSTM。
• 该模型在频繁词的建模方面表现更优，这在语言建模任务中贡献了大部分困惑度降低。
• 实证分析表明，增加注意力头数量可提升单单元配置下的性能，且记忆大小与单元数量之间的平衡关系取决于具体任务。