[论文解读] Transfer Learning to Learn with Multitask Neural Model Search

Catherine Wong, Andréa Gesmundo|arXiv (Cornell University)|Oct 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用 5

一句话总结

本文提出多任务神经网络模型搜索（MNMS），一种基于强化学习的框架，可同时在多个任务上联合搜索最优神经网络架构，并学习可迁移的知识。通过在先前任务上进行预训练，MNMS 加速了新任务的搜索过程，实现更快收敛，且性能超越人工设计的模型，同时不损失准确性。

ABSTRACT

Deep learning models require extensive architecture design exploration and hyperparameter optimization to perform well on a given task. The exploration of the model design space is often made by a human expert, and optimized using a combination of grid search and search heuristics over a large space of possible choices. Neural Architecture Search (NAS) is a Reinforcement Learning approach that has been proposed to automate architecture design. NAS has been successfully applied to generate Neural Networks that rival the best human-designed architectures. However, NAS requires sampling, constructing, and training hundreds to thousands of models to achieve well-performing architectures. This procedure needs to be executed from scratch for each new task. The application of NAS to a wide set of tasks currently lacks a way to transfer generalizable knowledge across tasks. In this paper, we present the Multitask Neural Model Search (MNMS) controller. Our goal is to learn a generalizable framework that can condition model construction on successful model searches for previously seen tasks, thus significantly speeding up the search for new tasks. We demonstrate that MNMS can conduct an automated architecture search for multiple tasks simultaneously while still learning well-performing, specialized models for each task. We then show that pre-trained MNMS controllers can transfer learning to new tasks. By leveraging knowledge from previous searches, we find that pre-trained MNMS models start from a better location in the search space and reduce search time on unseen tasks, while still discovering models that outperform published human-designed models.

研究动机与目标

• 自动化同时在多个任务上进行神经架构搜索，减少对人工设计和网格搜索的依赖。
• 从先前任务中学习可迁移知识，以加速对新、未见任务的搜索。
• 为每个任务发现专用的高性能模型，同时保持任务间共享的通用学习能力。
• 证明预训练的 MNMS 控制器在搜索空间中起始点更优，从而减少搜索时间并提高效率。

提出的方法

• 使用强化学习控制器并行地在多个任务上采样并训练子网络。
• 采用共享的 RNN 控制器，学习任务特定的架构分布，同时在任务间共享知识。
• 引入任务嵌入以编码不同任务之间的关系，支持迁移学习。
• 应用 Savitzky-Golay 滤波器平滑准确率曲线，以更清晰地可视化和分析搜索进展。
• 利用预训练的词嵌入，并在搜索过程中允许端到端训练嵌入，使其适应任务的复杂性。
• 使用策略梯度优化方法根据子网络性能更新控制器，偏好高回报的架构。

实验结果

研究问题

• RQ1 一个单一控制器能否有效同时在多个多样化任务上搜索出高性能架构？
• RQ2 多任务训练是否能促进可迁移知识的学习，从而提高在新、未见任务上的搜索效率？
• RQ3 MNMS 框架能否区分不同任务，并学习任务特定的最优超参数与架构？
• RQ4 在先前任务上进行预训练如何影响新任务上搜索的收敛速度和最终性能？
• RQ5 通过学习得到的任务嵌入中，编码了哪些任务之间的结构关系？

主要发现

• MNMS 在 IMDB 和 Corpus Cine 情感分类任务上成功发现的模型，性能优于已发表的人工设计模型。
• 经预训练的 MNMS 控制器在新任务上收敛速度显著加快，起始于搜索空间中更优的初始位置。
• 通过 MNMS 发现的最佳模型，其性能与使用平均词向量的最先进人工调优模型相当或更优。
• MNMS 学习到任务特定的行为，例如在 SST 等复杂任务上持续训练词嵌入，而在语言识别等简单任务上则固定词嵌入。
• 通过任务嵌入，框架学习到了有意义的任务间相关性，IMDB 与 SST 之间、西班牙语语言识别与 Corpus Cine 之间均显示出强相似性。
• 通过预训练 MNMS 实现的迁移学习不会使搜索偏向局部最优，因为最终性能在不同初始化方法下保持一致。