[论文解读] Rotograd: Dynamic Gradient Homogenization for Multitask Learning

Adrián Javaloy, Isabel Valera|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 7

一句话总结

Rotograd 提出了一种用于多任务学习的动态梯度同质化方法，通过使用特定于任务的旋转矩阵来对齐梯度的大小和方向，从而扩展了 GradNorm 方法。通过方向对齐减轻梯度冲突，Rotograd 提升了训练的稳定性和收敛性，在多个真实世界数据集和网络架构上的表现优于先前方法。

ABSTRACT

GradNorm (Chen et al., 2018) is a broadly used gradient-based approach for training multitask networks, where different tasks share, and thus compete during learning, for the network parameters. GradNorm eases the fitting of all individual tasks by dynamically equalizing the contribution of each task to the overall gradient magnitude. However, it does not prevent the individual tasks’ gradients from conflicting, i.e., pointing towards opposite directions, and thus resulting in a poor multitask performance. In this work we propose Rotograd, an extension to GradNorm that addresses this problem by dynamically homogenizing not only the gradient magnitudes but also their directions across tasks. For this purpose,Rotograd adds a layer of task-specific rotation matrices that aligns all the task gradients. Importantly, we then analyze Rotograd (and its predecessor) through the lens of game theory, providing theoretical guarantees on the algorithm stability and convergence. Finally, our experiments on several real-world datasets and network architectures show that Rotograd outperforms previous approaches for multitask learning.

研究动机与目标

• 为解决 GradNorm 在多任务训练过程中处理任务间梯度方向冲突方面的局限性。
• 通过方向对齐减少梯度干扰，提升多任务学习性能。
• 利用博弈论分析，为算法稳定性和收敛性提供理论保证。
• 开发一种可扩展且高效的方法，适用于多样化的数据集和网络架构。

提出的方法

• 引入特定于任务的旋转矩阵，以动态对齐来自不同任务的梯度方向。
• 通过在将梯度合并为统一更新方向之前对任务梯度应用旋转，修改损失优化过程。
• 采用一种动态加权方案，平衡梯度大小和方向，类似于 GradNorm，但扩展了旋转对齐功能。
• 采用博弈论框架分析并确保训练过程的收敛性和稳定性。
• 在反向传播过程中端到端优化旋转矩阵，实现自适应的梯度同质化。
• 通过将旋转层作为可学习组件集成，保持与标准深度学习框架的向后兼容性。

实验结果

研究问题

• RQ1 动态梯度方向对齐是否能超越仅平衡大小的策略，进一步提升多任务学习性能？
• RQ2 梯度冲突（定义为方向相反的梯度）如何影响多任务训练的稳定性和收敛性？
• RQ3 对于同时考虑大小和方向的梯度同质化方法，可提供哪些理论保证？
• RQ4 所提出的博弈论公式是否能确保多任务设置下稳定且收敛的训练动态？
• RQ5 Rotograd 在多样化基准上与 GradNorm 及其他多任务学习基线相比，实证表现如何？

主要发现

• Rotograd 在多个真实世界数据集上优于 GradNorm 及其他多任务学习基线，表现出更优的泛化能力和训练稳定性。
• 引入梯度方向同质化后，相比仅平衡大小的方法，收敛速度更快，训练损失更低。
• 理论分析证实，在博弈论框架下，Rotograd 能够保持稳定的训练动态，并具备收敛性保证。
• 实验表明，Rotograd 有效减少了梯度冲突，尤其在任务目标高度不相似的场景中表现显著。
• 该方法无需架构修改即可在多种网络架构（包括 ResNet 和 DenseNet）上泛化良好。
• 消融研究证实，大小和方向同质化均对最优性能至关重要，其中旋转组件对性能提升贡献显著。