[论文解读] Neural Random-Access Machines

Karol Kurach, Marcin Andrychowicz+1 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 11被引用 15

一句话总结

本文提出了神经随机存取机（NRAM），一种可微分的神经网络架构，能够操作并解引用外部可变大小随机存取内存中的指针。通过纯输入-输出对进行反向传播训练，NRAM 成功学习了需要指针追踪的算法任务（如链表和二叉树操作），并在离散化后实现恒定时间的内存访问，同时可泛化至更长的序列。

ABSTRACT

In this paper, we propose and investigate a new neural network architecture called Neural Random Access Machine. It can manipulate and dereference pointers to an external variable-size random-access memory. The model is trained from pure input-output examples using backpropagation. We evaluate the new model on a number of simple algorithmic tasks whose solutions require pointer manipulation and dereferencing. Our results show that the proposed model can learn to solve algorithmic tasks of such type and is capable of operating on simple data structures like linked-lists and binary trees. For easier tasks, the learned solutions generalize to sequences of arbitrary length. Moreover, memory access during inference can be done in a constant time under some assumptions.

研究动机与目标

• 该论文旨在开发一种能够学习需要显式指针操作和解引用的算法任务的神经架构。
• 旨在克服先前模型（如NTM和LSTM）在绝对指针寻址方面的局限性，并解决参数数量随内存大小增长的问题。
• 目标包括通过可微分的基于指针的机制实现在恒定时间内访问内存，避免基于内容的寻址。
• 研究反向传播是否能有效训练具有复杂控制流和内存访问模式的极深、复杂模型。
• 旨在展示在涉及链表和二叉树等数据结构的算法任务中，对任意长度输入的泛化能力。

提出的方法

• NRAM 模型使用神经控制器（如前馈网络或LSTM）在可变大小的外部内存上生成一系列操作序列。
• 核心操作包括通过可微模块（如READ、WRITE和指针算术，例如递增、取最小值、取最大值）对内存位置进行读取、写入和指针操作。
• 该模型采用可微分的电路执行机制，每个时间步对一组固定模块应用以更新寄存器和内存，控制流决策通过可微门电路实现。
• 指针解引用通过将寄存器值用作内存数组的索引实现，从而支持对数据结构的间接访问和遍历。
• 该模型支持一种“离散化”版本，其中指针值被限制为整数，从而实现恒定时间内存访问并提升泛化性能。
• 训练通过端到端反向传播完成，涵盖整个执行轨迹，采用课程学习和梯度噪声以稳定优化过程。

实验结果

研究问题

• RQ1 可微分的神经网络能否学习需要显式指针操作和解引用的算法任务？
• RQ2 该模型在训练时未见过的更长输入序列上，特别是涉及链表和二叉树的任务中，泛化能力如何？
• RQ3 与NTM等模型相比，缺乏基于内容的寻址是否能实现更快、更稳定的内存访问？
• RQ4 反向传播在训练具有深层、非线性且复杂控制流的大内存空间模型时效果如何？
• RQ5 能否在该模型中有效学习一种用于确定计算终止的可微机制？

主要发现

• NRAM 模型成功学习了解决 Copy、Permutation、ListK、ListSearch、WalkBST 和 Merge 等算法任务，前三个任务的错误率为 0%。
• 在 Permutation、ListK 和 WalkBST 任务中，模型泛化至至少两倍于训练时长度的输入，且错误率较低。
• 该模型的离散化版本在 Permutation 任务中实现了输出的精确复现，表明该问题具有极强的泛化能力。
• 在 WalkBST 任务中，模型训练错误率为 0.3%，在 Merge 任务中为 1%，尽管泛化能力弱于简单任务。
• 优化过程极不稳定，即使使用最优超参数，仅有约 11% 的随机种子收敛至零错误。
• 引入梯度噪声显著提升了收敛性，使成功比例从约 1% 提升至约 11%，表明噪声有助于逃离损失曲面中的不良局部极小值。