[论文解读] Scalarization for Multi-Task and Multi-Domain Learning at Scale

Amélie Royer, Tijmen Blankevoort+1 more|arXiv (Cornell University)|Oct 13, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文研究了标量化（scalarization）——通过最小化任务损失的加权平均来训练多任务和多领域模型——作为一种简单而有效的复杂多任务优化（MTO）方法的替代方案。通过在多种架构和数据集上进行大规模实验，本文表明最优标量化权重可显著提升性能，尤其是在数据不平衡的场景下，并提出基于种群的训练方法以高效地大规模搜索这些权重，从而在计算开销极小的情况下实现最先进（SOTA）性能。

ABSTRACT

Training a single model on multiple input domains and/or output tasks allows for compressing information from multiple sources into a unified backbone hence improves model efficiency. It also enables potential positive knowledge transfer across tasks/domains, leading to improved accuracy and data-efficient training. However, optimizing such networks is a challenge, in particular due to discrepancies between the different tasks or domains: Despite several hypotheses and solutions proposed over the years, recent work has shown that uniform scalarization training, i.e., simply minimizing the average of the task losses, yields on-par performance with more costly SotA optimization methods. This raises the issue of how well we understand the training dynamics of multi-task and multi-domain networks. In this work, we first devise a large-scale unified analysis of multi-domain and multi-task learning to better understand the dynamics of scalarization across varied task/domain combinations and model sizes. Following these insights, we then propose to leverage population-based training to efficiently search for the optimal scalarization weights when dealing with a large number of tasks or domains.

研究动机与目标

• 理解在不同模型容量和数据分布下，标量化在多任务和多领域学习中的训练动态。
• 研究在数据不平衡的任务/领域设置中，标量化权重对梯度冲突和模型性能的影响。
• 解决大规模任务或领域数量下的超参数搜索可扩展性挑战。
• 评估简单标量化是否能在降低计算成本的同时，达到或超越复杂MTO方法的性能。

提出的方法

• 在多个视觉基准、模型架构（从ViT-S/4到完整宽度ViT）以及任务/领域组合上，对标量化进行大规模实证分析。
• 利用基于种群的训练（PBT）系统性地调整标量化权重，以高效探索高维超参数空间。
• 将标量化与最先进MTO方法进行比较，包括基于损失的方法（如不确定性、IMTL-L）和基于梯度的方法（如CAGrad、PCGrad）。
• 分析不同层和学习率下的梯度冲突，以评估其在任务干扰中的作用。
• 利用PBT在任务数量众多的场景中搜索最优标量化权重，降低搜索成本的同时保持性能。
• 报告多个指标和标准差的结果，以确保统计稳健性。

Figure 1: Table (a) summarizes the experimental setups used throughout the paper. Figure (b) reports profiling results for popular multi-task optimization (MTO) methods in a small-scale (ResNet18, batch size 16) and large-scale (ResNet50, size 128) setting, for 224px inputs: In practice, we find tha

实验结果

研究问题

• RQ1 模型容量如何影响通过标量化实现的多任务和多领域学习的性能提升？
• RQ2 在数据不平衡的多任务和多领域设置中，最优标量化权重在多大程度上能提升性能？
• RQ3 梯度冲突在不同层和学习率下如何变化？它们是否与任务干扰相关？
• RQ4 基于种群的训练能否高效识别大规模多任务和多领域学习中的最优标量化权重？
• RQ5 均匀标量化（即等权重）是否能与复杂MTO方法相媲美，还是权重调优至关重要？

主要发现

• 更大的模型容量会显著放大多任务和多领域学习的优势，随着模型规模增大，性能增益也明显提升。
• 在数据不平衡的设置中，最优标量化权重对高性能多任务和多领域学习至关重要，但其相对排名在同一系列架构的不同模型大小间保持一致。
• 任务或领域之间的梯度冲突是训练过程中的自然且持续存在的现象，但其程度基本不受模型容量或标量化权重选择的影响。
• 基于种群的训练（PBT）能够高效且有效地搜索最优标量化权重，在降低计算成本的同时实现与复杂MTO方法相当的性能。
• 通过学习得到的权重进行标量化优于均匀标量化，并且在所有评估的基准和模型规模下，其性能与或超过最先进MTO方法（如CAGrad、PCGrad）。
• 标量化性能对权重调优极为敏感，在数据不平衡设置中，权重的微小变化即可导致性能的显著波动。

Figure 2: Performance of scalarization for MDL/MTL relative to SD under different model capacities; Each column corresponds to a different task/domain pair ( $T=2$ ). The first row of each plot contains a heatmap of the best performing scalarization weights $p^{\ast}$ wrt. to the average test accura