[论文解读] SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization

Soroosh Shahtalebi, Jean-Christophe Gagnon-Audet+4 more|arXiv (Cornell University)|Jun 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 22

一句话总结

本文提出SAND-mask，一种连续梯度掩码策略，通过联合强制不同领域间梯度方向和大小的一致性，提升域泛化中的不变性发现。该方法优于先前的方法，在Colored MNIST上实现6%的准确率提升，并在DomainBed基准上取得具有竞争力的结果，通过基于梯度一致性的动态自适应掩码实现。

ABSTRACT

A major bottleneck in the real-world applications of machine learning models is their failure in generalizing to unseen domains whose data distribution is not i.i.d to the training domains. This failure often stems from learning non-generalizable features in the training domains that are spuriously correlated with the label of data. To address this shortcoming, there has been a growing surge of interest in learning good explanations that are hard to vary, which is studied under the notion of Out-of-Distribution (OOD) Generalization. The search for good explanations that are extit{invariant} across different domains can be seen as finding local (global) minimas in the loss landscape that hold true across all of the training domains. In this paper, we propose a masking strategy, which determines a continuous weight based on the agreement of gradients that flow in each edge of network, in order to control the amount of update received by the edge in each step of optimization. Particularly, our proposed technique referred to as "Smoothed-AND (SAND)-masking", not only validates the agreement in the direction of gradients but also promotes the agreement among their magnitudes to further ensure the discovery of invariances across training domains. SAND-mask is validated over the Domainbed benchmark for domain generalization and significantly improves the state-of-the-art accuracy on the Colored MNIST dataset while providing competitive results on other domain generalization datasets.

研究动机与目标

• 为解决现有梯度掩码方法在域泛化中的失败模式，特别是对优化器动量、初始化和数据噪声的敏感性。
• 开发一种连续且自适应的掩码策略，通过确保不仅梯度方向，而且梯度大小在训练领域间的一致性，促进不变性学习。
• 通过实现从无掩码到完整SAND-mask的自动收敛，消除OOD泛化中对退火调度手动超参数调优的需求。
• 在无需访问测试集进行超参数调整的情况下，提升分布外数据的泛化性能。
• 提供一种稳健且可扩展的解决方案，用于学习在多样化数据分布间泛化的不变特征。

提出的方法

• SAND-mask基于不同领域间梯度的一致性，为网络每条边计算连续掩码，同时利用方向和大小的一致性。
• 它在梯度上应用平滑的AND操作，替代先前工作中使用的离散AND掩码，以降低对噪声和优化伪影的敏感性。
• 掩码值被计算为不同领域间梯度余弦相似度和大小一致性的函数，确保稳定且可微分的更新。
• 该方法在训练过程中动态演化，从最小掩码开始，根据观察到的梯度一致性逐步增加，模拟隐式的退火调度。
• 该方法被集成到标准反向传播中，无需修改损失函数，因此与现有训练流程兼容。
• 在DomainBed基准上进行评估，并与SOTA方法（包括IRM、REx、CDANN和AND-mask）进行比较。

实验结果

研究问题

• RQ1 一种强制梯度方向和大小一致性的连续梯度掩码策略，能否提升域泛化中的不变性学习？
• RQ2 SAND-mask是否能缓解离散AND-mask的失败模式，如对优化器动量和数据噪声的敏感性？
• RQ3 SAND-mask能否在无需显式退火调度超参数调优的情况下，实现更优的泛化性能？
• RQ4 SAND-mask在Colored MNIST和Spiral等基准数据集上的表现如何，特别是与SOTA方法相比？
• RQ5 SAND-mask的动态自适应特性是否能带来比固定或手动调度的掩码策略更优的收敛性和鲁棒性？

主要发现

• 与先前SOTA相比，SAND-mask在Colored MNIST数据集上实现了6%的绝对准确率提升，达到62.3% ± 1.0。
• 在完整的DomainBed基准上，SAND-mask表现具有竞争力，在Cifar-10、Cifar-100和Sketch等多个数据集上优于或匹配SOTA方法。
• SAND-mask在Colored MNIST上显著提升了泛化性能，AND-mask与SAND-mask之间的性能差距约为15%，表明其具有强大的不变性学习能力。
• 在Spiral数据集上，SAND-mask表现劣于AND-mask（49.2% vs. 88.0%），表明其在捕捉某些类型的分布偏移方面存在局限性。
• 该方法对初始化和噪声表现出鲁棒性，由于其连续且可微分的设计，避免了原始AND-mask中观察到的失败模式。
• SAND-mask在无需显式退火调度的情况下，有效学习到不变特征，能够根据训练过程中梯度一致性的变化自动调整掩码强度。