[论文解读] Rapid Adaptation with Conditionally Shifted Neurons

Tsendsuren Munkhdalai, Xingdi Yuan+2 more|arXiv (Cornell University)|Dec 28, 2017

Domain Adaptation and Few-Shot Learning被引用 106

一句话总结

本文提出条件性偏移神经元（CSN），通过在记忆模块中存储的任务相关激活偏移来实现快速的任务特定自适应。研究表明CSN在视觉与语言基准上提升元学习性能，并通过直接反馈以更低成本的调参信号实现条件化。

ABSTRACT

We describe a mechanism by which artificial neural networks can learn rapid adaptation - the ability to adapt on the fly, with little data, to new tasks - that we call conditionally shifted neurons. We apply this mechanism in the framework of metalearning, where the aim is to replicate some of the flexibility of human learning in machines. Conditionally shifted neurons modify their activation values with task-specific shifts retrieved from a memory module, which is populated rapidly based on limited task experience. On metalearning benchmarks from the vision and language domains, models augmented with conditionally shifted neurons achieve state-of-the-art results.

研究动机与目标

• 在元学习设定下，动机并形式化一种跨任务的快速、即时适应的神经机制。
• 提出条件性偏移神经元，它们应用来自记忆模块的任务特定激活偏移。
• 在视觉（Omniglot、Mini-ImageNet）和语言（Penn Treebank）基准上评估CSN。
• 探索两种条件信息来源（基于梯度和直接反馈），并评估计算效率。
• 展示CSN与多种体系结构的兼容性（前馈神经网络FFN、ResNet、LSTM）。

提出的方法

• 引入条件性偏移神经元，在由条件信息 I_t 控制的情况下，对激活添加逐层的偏移 beta_t。
• 实现两阶段过程：描述阶段（从任务数据 D_τ 提取条件信息并将偏移存储在键值记忆中）和预测阶段（对未见数据检索偏移）。
• 使用记忆函数 g 将条件信息映射为偏移模板 V_t，使用键函数 f 从任务描述生成记忆键；读取通过对键的软注意实现。
• 提出两种条件化方案：（a）基于误差梯度的条件化（∇）和（b）直接反馈（DF）条件化，其中 DF 使用一种更便宜、非序列性信号。
• 在 FFN、ResNet 和 LSTM 架构中展示 CSN（adaCNN、adaResNet、adaLSTM）。
• 以端到端的 SGD 进行分段元学习的训练和测试；条件信息与基础学习器和记忆一起联合学习。

实验结果

研究问题

• RQ1 通过 CSNs 实现的神经元级快速适应能在视觉和语言任务上达到具有竞争力的元学习性能吗？
• RQ2 基于梯度的条件化信号与直接反馈条件化信号在准确性和效率上有何差异？
• RQ3 CSN 能否与常见架构（如 ResNet 和 LSTM）有效整合，计算开销的权衡在哪里？
• RQ4 CSN 对少样本学习基准（Omniglot、Mini-ImageNet、Penn Treebank）的影响如何？

主要发现

• CSN 使神经元激活能够迅速地实现任务特定的偏移，在若干少样本基准上提升性能。
• 直接反馈条件化在降低计算成本的同时，提供与梯度条件化竞争力甚至更优的结果。
• 在所报道的设定下，带 DF 条件化的 AdaResNet 在 Mini-ImageNet 上达到最先进结果（1-shot 和 5-shot 5-way 任务）。
• CSN 可以集成到 CNN、ResNet 和 LSTM 中，便于在各种架构中的广泛应用。
• 消融研究表明，对偏移进行归一化以及条件化变换 g 的深度对于性能很重要，且更深的映射支持 DF 条件化。
• 在各任务中，DF 条件化提供了显著的加速（例如在语言建模和视觉任务中显著的运行时减少），且不牺牲准确性。