[论文解读] StyleAdv: Meta Style Adversarial Training for Cross-Domain Few-Shot Learning

Yuqian Fu, Yu Xie+2 more|arXiv (Cornell University)|Feb 18, 2023

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出 StyleAdv，一种面向跨域少样本学习（CD-FSL）的模型无关元训练方法，通过生成对抗性视觉风格来增强对域偏移的鲁棒性。通过使用基于梯度的扰动方法——渐进式风格对抗攻击（Style-FGSM），对源域风格特征进行梯度扰动，合成出‘虚拟’和‘困难’风格，从而提升模型在多样化目标域上的泛化能力。该方法在包含 ResNet 和视觉Transformer骨干网络的八个数据集上均取得了新的 SOTA 性能。

ABSTRACT

Cross-Domain Few-Shot Learning (CD-FSL) is a recently emerging task that tackles few-shot learning across different domains. It aims at transferring prior knowledge learned on the source dataset to novel target datasets. The CD-FSL task is especially challenged by the huge domain gap between different datasets. Critically, such a domain gap actually comes from the changes of visual styles, and wave-SAN empirically shows that spanning the style distribution of the source data helps alleviate this issue. However, wave-SAN simply swaps styles of two images. Such a vanilla operation makes the generated styles ``real'' and ``easy'', which still fall into the original set of the source styles. Thus, inspired by vanilla adversarial learning, a novel model-agnostic meta Style Adversarial training (StyleAdv) method together with a novel style adversarial attack method is proposed for CD-FSL. Particularly, our style attack method synthesizes both ``virtual'' and ``hard'' adversarial styles for model training. This is achieved by perturbing the original style with the signed style gradients. By continually attacking styles and forcing the model to recognize these challenging adversarial styles, our model is gradually robust to the visual styles, thus boosting the generalization ability for novel target datasets. Besides the typical CNN-based backbone, we also employ our StyleAdv method on large-scale pretrained vision transformer. Extensive experiments conducted on eight various target datasets show the effectiveness of our method. Whether built upon ResNet or ViT, we achieve the new state of the art for CD-FSL. Code is available at https://github.com/lovelyqian/StyleAdv-CDFSL.

研究动机与目标

• 为解决跨域少样本学习（CD-FSL）中因源域与目标域之间视觉风格差异导致的显著域差距问题。
• 克服现有风格增强方法（如 wave-SAN）的局限性，后者仅在源域分布内生成‘真实’且‘简单’的风格。
• 通过在‘虚拟’（不在源数据集中）和‘困难’（更难识别）的对抗性风格上进行训练，提升模型的泛化能力。
• 开发一种模型无关的互补方法，无需修改网络架构即可增强现有 FSL 和 CD-FSL 模型的性能。

提出的方法

• 提出一种极小极大训练框架 StyleAdv，其中内层循环通过源域风格特征的梯度扰动生成对抗性风格。
• 提出一种新颖的风格对抗攻击方法 Style-FGSM，通过向原始风格添加符号化的风格梯度，合成出困难且虚拟的风格。
• 采用渐进式风格合成策略，将对抗性信号在特征块之间逐步累积，以稳定训练并避免特征发生过大偏移。
• 采用从候选池中随机采样扰动比例的策略，提升生成对抗性风格的多样性。
• 在元学习设置中应用该方法，使模型在基于任务的训练中同时学习识别干净风格与对抗性扰动后的风格。
• 支持基于 CNN 的（如 ResNet）和视觉 Transformer（ViT）骨干网络，展现出广泛的适用性。

实验结果

研究问题

• RQ1 对抗性风格生成是否能在超越真实风格增强的基础上，进一步提升跨域少样本学习中的泛化能力？
• RQ2 与真实和简单风格相比，‘虚拟’和‘困难’对抗性风格在模型鲁棒性方面表现如何？
• RQ3 相较于攻击图像或特征，攻击风格特征是否能带来更好的 CD-FSL 域泛化效果？
• RQ4 像 StyleAdv 这类模型无关的方法能否有效结合如 ResNet 和 ViT 等多样化骨干网络？
• RQ5 渐进式与比例随机化的风格扰动对模型性能和训练稳定性有何影响？

主要发现

• StyleAdv 在八种不同目标数据集上，无论在 1-shot 还是 5-shot 设定下，均取得了新的 SOTA 性能，优于现有 CD-FSL 方法。
• 所提出的 Style-FGSM 攻击方法成功生成了‘困难’和‘虚拟’风格，使模型超越原始源风格分布的范围。
• 平均而言，StyleAdv 在所有数据集上将基线 GNN 模型的 5 类 1-shot 准确率从 59.83% 提升至 63.77%，提升幅度达 3.77%。
• 与攻击图像或特征相比，攻击风格能取得更优性能，表明风格级别的扰动对缓解域差距更具有效性。
• 该方法具有模型无关性，在应用于 ResNet 和视觉 Transformer 骨干网络时均能稳定提升性能。
• Style-FGSM 在生成具有挑战性且多样化的风格方面优于其他风格增强基线方法（如 MixStyle、AdvStyle 和 DSU），展现出其优越性。