[论文解读] Understanding and Improving Information Transfer in Multi-Task Learning

Sen Wu, Hongyang Zhang+1 more|arXiv (Cornell University)|May 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用 47

一句话总结

论文分析了一个共享特征的多任务学习（MTL）架构，具有任务特异的输出头，显示任务之间的数据对齐对迁移具有关键影响，并提出协方差对齐和基于 SVD 的加权方法来提升 MTL 与迁移性能。

ABSTRACT

We investigate multi-task learning approaches that use a shared feature representation for all tasks. To better understand the transfer of task information, we study an architecture with a shared module for all tasks and a separate output module for each task. We study the theory of this setting on linear and ReLU-activated models. Our key observation is that whether or not tasks' data are well-aligned can significantly affect the performance of multi-task learning. We show that misalignment between task data can cause negative transfer (or hurt performance) and provide sufficient conditions for positive transfer. Inspired by the theoretical insights, we show that aligning tasks' embedding layers leads to performance gains for multi-task training and transfer learning on the GLUE benchmark and sentiment analysis tasks; for example, we obtain a 2.35% GLUE score average improvement on 5 GLUE tasks over BERT-LARGE using our alignment method. We also design an SVD-based task reweighting scheme and show that it improves the robustness of multi-task training on a multi-label image dataset.

研究动机与目标

• 理解在使用共享表示的多任务学习何时对单个任务有帮助或有害。
• 描述模型容量、任务协方差和优化如何影响任务之间的迁移。
• 在数据对齐考虑下，开发实用方法以提升 MTL 的有效性和鲁棒性。
• 给出正迁移的理论条件以及用于对齐和重新加权的实用算法。

提出的方法

• 研究一个共享 B（共享模块）加上每个任务的 A_i（输出模块）的架构，损失为 ∑_i L(g(X_i B) A_i, y_i)。
• 在损失中引入每任务权重系数 alpha_i，以应对数据规模的差异。
• 在线性和 ReLU 激活模型中发展理论，聚焦于三个组成部分：共享容量 r、任务协方差 (X_i^T X_i) 和每任务权重 (alpha_i)。
• 定义任务协方差和协方差相似性分数，以量化任务之间的对齐程度。
• 提出算法1 协方差对齐，在训练期间引入对齐矩阵 R_i 的预嵌入，以对齐任务协方差。
• 提出算法2 一种基于 SVD 的任务重新加权方案，特别在标签噪声下提高鲁棒性。

实验结果

研究问题

• RQ1 在使用共享表示的多任务学习何时会产生正迁移与负迁移？
• RQ2 在线性和 ReLU 设置中，共享容量、任务协方差和每任务权重如何影响迁移性能？
• RQ3 我们是否能够设计实用方法来对齐任务嵌入并重新加权任务，以改进 MTl 和迁移鲁棒性？
• RQ4 对齐与重新加权技术是否会在 GLUE 等基准和情感分析数据集上带来改进？
• RQ5 在标签噪声和迁移学习场景下，这些方法的鲁棒性如何？

主要发现

• 对齐任务嵌入层的协方差在 GLUE 上带来性能提升（在 BERT_LARGE 下对 5 个任务的平均 GLUE 分数提升 2.35%）。
• 协方差对齐也提升情感分析任务的迁移学习，准确率最高提升 2.5%。
• 基于 SVD 的任务重新加权方案在 ChestX-ray14 多标签数据集上将多任务训练鲁棒性平均提升 0.4% 的 AUC。
• 共享模块容量应小于独立任务容量之和以实现迁移；容量过大将导致没有迁移。
• 该理论给出取决于任务协方差和样本量的正迁移充分条件，并提出了协方差相似性的度量。
• 实证消融研究表明协方差对齐在 CNN/MLP 和 LSTM 基线上均能提升性能。