[论文解读] One-shot Learning with Memory-Augmented Neural Networks

Adam Santoro, Sergey Bartunov+3 more|arXiv (Cornell University)|May 19, 2016

Domain Adaptation and Few-Shot Learning参考文献 17被引用 298

一句话总结

本论文表明记忆增强神经网络（MANNs）可以从极少量的示例中学习，并通过外部记忆迅速适应，从而实现一次性分类与回归。它引入一个聚焦于基于内容检索的记忆访问模块以及一个最近最少使用（LRU）记忆写入机制。

ABSTRACT

Despite recent breakthroughs in the applications of deep neural networks, one setting that presents a persistent challenge is that of "one-shot learning." Traditional gradient-based networks require a lot of data to learn, often through extensive iterative training. When new data is encountered, the models must inefficiently relearn their parameters to adequately incorporate the new information without catastrophic interference. Architectures with augmented memory capacities, such as Neural Turing Machines (NTMs), offer the ability to quickly encode and retrieve new information, and hence can potentially obviate the downsides of conventional models. Here, we demonstrate the ability of a memory-augmented neural network to rapidly assimilate new data, and leverage this data to make accurate predictions after only a few samples. We also introduce a new method for accessing an external memory that focuses on memory content, unlike previous methods that additionally use memory location-based focusing mechanisms.

研究动机与目标

• 证明记忆增强神经网络能够仅凭少量样本就快速吸收新数据。
• 展示一种记忆访问机制，强调基于内容的检索而非基于位置寻址。
• 在 Omniglot 分类和基于高斯过程的回归任务上评估元学习能力。
• 在低数据情形下，将 MANN 的性能与标准 RNN、LSTM 和 k 最近邻方法进行比较。

提出的方法

• 使用神经图灵机（NTM）风格的外部记忆，其读/写头由神经控制器控制。
• 引入一个最近最少使用访问（LRUA）记忆写入器，它基于学习门控，偏向写入最少使用或最近使用的记忆槽。
• 使用余弦相似度来寻址记忆，以检索用于预测的相关绑定。
• 将任务结构化为元学习的情节（episode），其中标签以时间偏移的方式提供，以要求记忆绑定。
• 通过梯度下降端到端训练，以最小化跨任务（情节）分布的期望损失。
• 在 Omniglot 上进行分类评估，在高斯过程采样函数上进行回归评估。

实验结果

研究问题

• RQ1 记忆增强神经网络在仅一次呈现后，是否能快速将新的数据表示与标签绑定？
• RQ2 在NTM中，使用带LRUA写入器的基于内容的记忆寻址是否比基于位置的寻址在一次学习中有所提高？
• RQ3 在稀疏数据条件下，MANN 在分类和回归上的元学习能力相较于基线如何？
• RQ4 跨情节的记忆干扰对一次性学习性能有何影响？

主要发现

实例（正确率）	模型	第1次	第2次	第3次	第4次	第5次	第10次
34.5	Human	34.5	57.3	70.1	71.8	81.4	92.4
24.4	Feedforward	24.4	19.6	21.1	19.9	22.8	19.5
24.4	LSTM	24.4	49.5	55.3	61.0	63.6	62.5
36.4	MANN	36.4	82.8	91.0	92.6	94.9	98.1

• 在 Omniglot 上，MANN 在第一轮情节获得 82.8% 的准确率，经过十次呈现后，在五类别情节且标签为 one-hot 时达到 98.1%（最高）。
• 在五字符字符串标签下，MANN 的首次实例准确率为 0%，但在第2至第6次实例中，在各种设定下达到 69.5%–93.1%，展示了快速的一次性学习。
• 在多种配置下，MANN 在 Omniglot 的一次性学习分类任务中超过了前馈网络、LSTM 和 kNN 基线。
• 记忆干扰（情节之间不清空记忆）降低了性能，说明需要受控的记忆管理以防止跨任务污染。
• 课程式训练逐步增加每个情节的类别数量，同时保持高性能，表明在 MANN 框架下的一次性学习能力具有可扩展性。
• 在来自高斯过程的函数回归中，MANN 的预测跟踪底层函数，随着记忆中存储更多样本而改进；对于较远输入的不确定性增加。