[论文解读] Pseudo-task Augmentation: From Deep Multitask Learning to Intratask Sharing---and Back

Elliot Meyerson, Risto Miikkulainen|arXiv (Cornell University)|Mar 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 50被引用 16

一句话总结

本文提出伪任务增强（PTA），一种通过使用多个解码器联合训练共享特征提取器来模拟多任务学习，从而提升单任务深度学习性能的方法。PTA 在结合多任务学习时，能提升泛化能力并实现在 CelebA 数据集上的最先进性能，表明任务内共享与任务间学习之间存在互补增益。

ABSTRACT

Deep multitask learning boosts performance by sharing learned structure across related tasks. This paper adapts ideas from deep multitask learning to the setting where only a single task is available. The method is formalized as pseudo-task augmentation, in which models are trained with multiple decoders for each task. Pseudo-tasks simulate the effect of training towards closely-related tasks drawn from the same universe. In a suite of experiments, pseudo-task augmentation is shown to improve performance on single-task learning problems. When combined with multitask learning, further improvements are achieved, including state-of-the-art performance on the CelebA dataset, showing that pseudo-task augmentation and multitask learning have complementary value. All in all, pseudo-task augmentation is a broadly applicable and efficient way to boost performance in deep learning systems.

研究动机与目标

• 为解决仅存在一个任务场景下单任务学习的性能差距，通过将多任务学习原则应用于此类场景。
• 探究通过多个解码器训练共享模型以解决同一任务，是否能提升泛化能力，类似于多任务学习。
• 开发一种实用且广泛适用的方法，以增强深度学习系统，而无需依赖多个真实任务。
• 研究伪任务增强与传统多任务学习之间的协同效应，证明二者具有互补性。
• 通过任务内参数共享实现高效模型搜索，超越标准集成或单头架构。

提出的方法

• PTA 为单一学习任务训练共享特征提取器与多个特定任务的解码器，从而有效生成多个“伪任务”。
• 每个解码器将共享表征映射为预测相同目标，但具有不同的归纳偏置，促使共享特征空间在多样化解法路径上实现泛化。
• 该方法采用联合优化目标，最小化所有伪任务的平均损失，形式化为最小化多个解码器的个体损失均值。
• 采用控制策略如 PTA-HGD（通过超梯度下降实现的在线解码器搜索）和 PTA-F（固定调度），以管理伪任务的训练动态。
• 该方法与现有深度学习框架兼容，可与标准多任务学习结合以进一步提升性能。
• 理论分析表明，使用多个伪任务进行训练严格优于单任务训练，意味着具备更优的收敛性与泛化特性。

实验结果

研究问题

• RQ1 通过为同一任务训练多个解码器的单一模型，是否能像多任务学习一样提升单任务学习的泛化能力？
• RQ2 不同伪任务轨迹控制策略（如固定调度、自适应搜索）对性能与泛化能力的影响如何？
• RQ3 伪任务增强在多大程度上能与传统多任务学习互补，从而提升模型性能？
• RQ4 当与多任务学习结合时，PTA 是否能在 CelebA 等基准数据集上实现最先进性能？
• RQ5 伪任务动态中的多样性起什么作用？其与模型鲁棒性及泛化能力的关系如何？

主要发现

• PTA 在多个数据集（包括 CIFAR-10、SVHN 和 IMDB）的单任务学习问题上显著提升性能。
• 在 CelebA 数据集上，PTA-HGD 达到 7.94% 的测试误差，优于所有先前方法，创下新的最先进记录。
• 当与多任务学习结合时，PTA 进一步提升性能，表明其与 MTL 之间具有互补性而非冗余性。
• 如图 5 所示，不同伪任务间学习到的丢弃率调度具有多样性，表明 PTA 实现了任务特定的自适应，无单一调度占主导地位。
• 集成多个 PTA 模型可进一步提升性能，但将单个 PTA 模型内的多个解码器进行集成并未带来显著优于最优单个解码器的增益。
• PTA-HGD（一种在线解码器搜索方法）优于固定调度与随机搜索变体，表明自适应控制在伪任务训练中至关重要。