[论文解读] Neural Turing Machines

Alex Graves, Greg Wayne+1 more|arXiv (Cornell University)|Oct 20, 2014

Neural Networks and Applications参考文献 40被引用 108

一句话总结

本文提出了神经图灵机（NTM），一种可微分的神经网络架构，通过引入可微分的外部记忆和基于注意力的读写机制，扩展了循环网络，实现了通过梯度下降进行端到端训练。NTM 能够从输入-输出示例中学习并执行简单的算法，如复制、排序和关联回忆，其在算法任务上的表现优于标准 RNN。

ABSTRACT

We extend the capabilities of neural networks by coupling them to external memory resources, which they can interact with by attentional processes. The combined system is analogous to a Turing Machine or Von Neumann architecture but is differentiable end-to-end, allowing it to be efficiently trained with gradient descent. Preliminary results demonstrate that Neural Turing Machines can infer simple algorithms such as copying, sorting, and associative recall from input and output examples.

研究动机与目标

• 开发一种能够从输入-输出示范中学习并执行简单算法的神经网络架构。
• 解决标准 RNN 在处理需要外部记忆和逻辑流程控制的复杂数据转换时的局限性。
• 构建一种可微分、可端到端训练的系统，受图灵机和工作记忆启发，实现基于梯度的算法过程学习。
• 探究神经网络是否能够以结构化、可寻址的方式使用记忆来解决算法任务。
• 通过学习使用记忆操作来执行排序和关联回忆等任务，展示模型在训练数据之外的泛化能力。

提出的方法

• NTM 集成了一种可微分的记忆矩阵，可通过注意力机制实现读取和写入操作。
• 控制器网络（前馈或基于 LSTM）生成读取和写入注意力向量，以选择特定的记忆位置。
• 读取操作基于内容相关和位置相关的寻址方式，对记忆向量进行加权求和。
• 写入操作通过可微分的读-修改-写过程实现，使用可学习的写入门控机制。
• 该架构支持多个读写头，可并行访问内存，适用于复杂任务。
• 整个系统通过反向传播进行端到端训练，采用梯度裁剪和 RMSProp 优化。

实验结果

研究问题

• RQ1 神经网络能否利用外部可微分记忆来学习执行复制和排序等算法任务？
• RQ2 NTM 是否能泛化到训练过程中未见过的更长序列，表明其具备真正的算法学习能力？
• RQ3 与标准 RNN 相比，基于注意力的寻址方式在内存密集型任务中如何提升性能？
• RQ4 NTM 能否在不显式监督排序机制的情况下，基于优先级值学习实现序列排序？
• RQ5 NTM 的记忆使用在多大程度上可被解释为实现了已知的数据结构（如二叉堆）？

主要发现

• NTM 有效学习了不同长度序列的复制任务，并在训练序列长度之外实现了泛化。
• 在关联回忆任务中，NTM 在训练期间未见过的测试序列上也达到了高准确率，表现出强大的泛化能力。
• 在优先级排序任务中，NTM 通过与输入优先级呈线性关系的写入模式解决了问题，表明其学习到了类似堆结构的实现方式。
• 使用 LSTM 控制器的 NTM 在优先级排序任务中优于前馈控制器和标准 LSTM 网络，尤其在使用多个读写头时表现更优。
• 配备 8 个读写头和 LSTM 控制器的 NTM 在优先级排序任务中实现了近乎完美的性能，表明其有效利用了记忆寻址机制。
• NTM 的参数数量不随内存大小增加而增长，与标准 RNN 不同，因此可扩展至大规模内存矩阵。