[论文解读] Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks

Sachin Ravi, Sebastian Musslick+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 10

一句话总结

本文研究了深度神经网络中多任务学习（共享表征以实现更快学习）与多任务处理（独立表征以实现并行执行）之间的权衡。该文提出一种元学习算法，根据环境特定的序列化成本动态选择单任务或多任务训练，从而在各种条件下（包括噪声输入）实现接近最优的性能。

ABSTRACT

The terms multi-task learning and multitasking are easily confused. Multi-task learning refers to a paradigm in machine learning in which a network is trained on various related tasks to facilitate the acquisition of tasks. In contrast, multitasking is used to indicate, especially in the cognitive science literature, the ability to execute multiple tasks simultaneously. While multi-task learning exploits the discovery of common structure between tasks in the form of shared representations, multitasking is promoted by separating representations between tasks to avoid processing interference. Here, we build on previous work involving shallow networks and simple task settings suggesting that there is a trade-off between multi-task learning and multitasking, mediated by the use of shared versus separated representations. We show that the same tension arises in deep networks and discuss a meta-learning algorithm for an agent to manage this trade-off in an unfamiliar environment. We display through different experiments that the agent is able to successfully optimize its training strategy as a function of the environment.

研究动机与目标

• 研究共享表征（用于更快学习）与分离表征（用于更好多任务处理）之间的权衡是否存在于深度卷积网络中。
• 评估单任务训练与多任务训练是否可作为管理该权衡的控制机制。
• 设计并验证一种元学习算法，以在序列化成本未知的环境中选择最优训练策略。
• 评估元学习器在不同任务难度和噪声水平下的性能。

提出的方法

• 该研究采用具有任务特定输入向量的深度卷积网络架构，以控制任务执行。
• 比较两种训练制度：单任务训练（独立表征）与多任务训练（共享表征）。
• 训练一种元学习算法，根据观察到的奖励和估计的序列化成本，在单任务与多任务训练之间进行选择。
• 元学习器使用随机策略采样训练策略，并利用强化学习原理更新其策略。
• 在确定性和噪声输入环境中进行实验，以测试其鲁棒性与适应性。
• 性能通过5,000次试验的累积奖励进行评估，置信区间基于15次运行的平均值。

实验结果

研究问题

• RQ1 多任务学习与多任务处理之间的权衡是否在深度卷积网络中持续存在？
• RQ2 在单任务与多任务训练之间进行选择，是否能有效管理学习与多任务处理之间的权衡？
• RQ3 在序列化成本未知的环境中，元学习智能体在多大程度上能适应其训练策略？
• RQ4 输入噪声如何影响单任务与多任务训练之间的最优选择？
• RQ5 随着序列化成本增加，元学习器是否会收敛到最优策略？

主要发现

• 元学习算法在不同序列化成本下，其奖励率均接近最优策略。
• 在高序列化成本环境下，元学习器平滑减少了单任务训练试验的比例，表明其具备有效适应能力。
• 当最优策略因高噪声或高复杂度而模糊不清时，元学习器的表现更接近最坏情况策略，反映出更长的探索时间。
• 在序列化成本未知的环境中，元学习器优于固定策略（始终单任务或始终多任务）。
• 在噪声环境中，单任务训练带来的收益更大，表明在不确定性下共享表征更具价值。
• 学习速度与多任务处理能力之间的权衡在深度网络中依然显著，验证了浅层模型在更复杂设置下的发现。