[论文解读] Reinforcement Learning Neural Turing Machines

Wojciech Zaremba, Ilya Sutskever|arXiv (Cornell University)|May 4, 2015

Reinforcement Learning in Robotics参考文献 16被引用 98

一句话总结

本文提出了强化学习神经图灵机（RL-NTM），结合策略梯度学习（Reinforce）进行内存访问与反向传播进行写入操作，实现高效、恒定时间的内存访问。RL-NTM 在原则上可学习运行时间无界的程序，并成功解决完全可微分NTM无法处理的算法任务。

ABSTRACT

The expressive power of a machine learning model is closely related to the number of sequential computational steps it can learn. For example, Deep Neural Networks have been more successful than shallow networks because they can perform a greater number of sequential computational steps (each highly parallel). The Neural Turing Machine (NTM) [8] is a model that can compactly express an even greater number of sequential computational steps, so it is even more powerful than a DNN. Its memory addressing operations are designed to be differentiable; thus the NTM can be trained with backpropagation. While differentiable memory is relatively easy to implement and train, it necessitates accessing the entire memory content at each computational step. This makes it difficult to implement a fast NTM. In this work, we use the Re inforce algorithm to learn where to access the memory, while using backpropagation to learn what to write to the memory. We call this model the RL-NTM. Reinforce allows our model to access a constant number of memory cells at each computational step, so its implementation can be faster. The RL-NTM is the first mo del that can, in principle, learn programs of unbounded running time. We successfully trained the RL-NTM to solve a number of algorithmic tasks that are simpler than the ones solvable by the fully differentiable NTM. As the RL-NTM is a fairly intricate model, we needed a method for verifying the correctness of our implementation. To do so, we developed a simple technique for numerically checking arbitrary implementations of models that use Reinforce, which may be of independent interest.

研究动机与目标

• 为解决完全可微分神经图灵机（NTM）在每一步需访问所有内存单元所导致的效率低下问题。
• 通过将内存访问与可微分优化解耦，使模型能够学习运行时间无界的程序。
• 开发一种结合强化学习进行内存寻址与反向传播进行内存写入的训练方法。
• 提出一种基于Reinforce算法的复杂模型验证技术，该技术可推广至其他模型。

提出的方法

• 使用Reinforce算法学习用于选择读取与写入内存位置的随机策略。
• 采用时间反向传播训练网络权重与写入操作，确保梯度流动以支持学习。
• 将每步内存访问限制为恒定数量的单元，显著提升计算效率，优于全内存访问。
• 提出一种数值验证技术，用于验证使用Reinforce算法训练的模型实现的正确性。
• 设计一种混合训练机制，其中内存访问通过策略学习（使用Reinforce）实现，而内存内容更新则通过反向传播实现。
• 将模型应用于需要序列推理的算法任务，如序列复制与排序。

实验结果

研究问题

• RQ1 通过Reinforce与反向传播相结合的混合方法训练的模型，是否能比完全可微分NTM更高效地学习复杂算法任务？
• RQ2 将内存访问学习与可微分优化解耦，是否能使模型扩展至运行时间无界的程序？
• RQ3 所提出的数值验证技术是否能可靠地验证基于Reinforce的模型实现？
• RQ4 RL-NTM在需要序列计算的任务上，与原始NTM相比性能如何？
• RQ5 恒定时间内存访问对训练速度与模型可扩展性有何影响？

主要发现

• RL-NTM 成功学习到解决序列复制与排序等复杂算法任务，其复杂度超过完全可微分NTM所能处理的范围。
• 通过将每步内存访问限制为恒定数量的单元，RL-NTM 在推理与训练速度上显著优于原始NTM。
• 由于采用非可微分的基于策略的内存访问机制，该模型在原则上可学习运行时间无界的程序。
• 所提出的数值验证技术成功验证了RL-NTM的实现，证明其可推广至其他基于Reinforce的模型。
• 混合训练方法——使用Reinforce进行访问、反向传播进行写入——在学习复杂序列行为方面表现有效。
• 在计算效率方面，RL-NTM优于标准NTM，同时在算法任务上保持了强大的泛化能力。