[论文解读] Test-time Fourier Style Calibration for Domain Generalization

Xingchen Zhao, Chang Liu+3 more|arXiv (Cornell University)|May 13, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出测试时傅里叶风格校准（TF-Cal），一种在推理时通过傅里叶分解利用源域原型校准目标域风格特征的方法，同时引入增强幅度特征（AAF）以提升风格多样性。该方法通过实时风格对齐减少域偏移，在训练阶段无需目标域数据，从而在图像分类和医学图像分割基准上实现了最先进性能。

ABSTRACT

The topic of generalizing machine learning models learned on a collection of source domains to unknown target domains is challenging. While many domain generalization (DG) methods have achieved promising results, they primarily rely on the source domains at train-time without manipulating the target domains at test-time. Thus, it is still possible that those methods can overfit to source domains and perform poorly on target domains. Driven by the observation that domains are strongly related to styles, we argue that reducing the gap between source and target styles can boost models' generalizability. To solve the dilemma of having no access to the target domain during training, we introduce Test-time Fourier Style Calibration (TF-Cal) for calibrating the target domain style on the fly during testing. To access styles, we utilize Fourier transformation to decompose features into amplitude (style) features and phase (semantic) features. Furthermore, we present an effective technique to Augment Amplitude Features (AAF) to complement TF-Cal. Extensive experiments on several popular DG benchmarks and a segmentation dataset for medical images demonstrate that our method outperforms state-of-the-art methods.

研究动机与目标

• 为解决深度学习中因域偏移导致模型在未见目标域上失效的域泛化问题。
• 克服现有域泛化方法仅依赖训练阶段源域数据的局限，无法适应未知目标域的问题。
• 通过在推理阶段利用特征的傅里叶分解对齐目标域风格与源域风格，减少域差距。
• 通过一种简单而有效的测试时校准与特征增强机制提升模型泛化能力，且无需域标签。

提出的方法

• 该方法通过傅里叶变换将早期卷积特征分解为幅度（风格）和相位（语义）分量。
• 测试时傅里叶风格校准（TF-Cal）通过源自源域特征的原型凸式校准目标域的幅度特征。
• 源域原型在训练阶段估计，并在推理时用于将目标域风格对齐至源域风格。
• 增强幅度特征（AAF）通过在特征空间中增强幅度特征，多样化高层风格表征，提升鲁棒性。
• TF-Cal 与 AAF 结合形成 TAF-Cal，该方法在测试时应用，无需训练阶段的目标域数据或域标签。
• 该方法与网络架构无关，可集成至任意 CNN 主干网络中。

实验结果

研究问题

• RQ1 在测试时进行实时风格校准是否能提升对未见目标域的泛化能力？
• RQ2 将特征分解为幅度（风格）与相位（语义）分量，如何实现有效的域差距减少？
• RQ3 在特征空间中增强幅度特征，是否能超越图像空间增强，进一步提升模型泛化能力？
• RQ4 在 CNN 架构中，TF-Cal 的最优应用位置与超参数配置为何？
• RQ5 TF-Cal 与 AAF 如何协同作用，提升在多样化基准上的性能？

主要发现

• TAF-Cal 在 PACS 基准上达到最先进性能，ResNet-50 上的 top-1 准确率达到 86.73%。
• 仅使用 TF-Cal 时，在 PACS 基准上 ResNet-18 的 top-1 准确率为 85.70%，超过大多数现有方法。
• 消融实验表明，必须在测试时应用 TF-Cal 才能获得性能提升；仅在训练时应用则无显著改善。
• AAF 单独使用时在 PACS 上达到 85.69% 的准确率，优于 FACT（83.44%），证明了特征空间幅度增强的有效性。
• TF-Cal 的最优超参数设置为 η = τ = 0.5，因数值过大将导致目标风格过度校准，从而降低性能。
• t-SNE 可视化结果表明，TF-Cal 生成了清晰分离的目标域聚类，而 AAF 单独使用则导致边界模糊，说明 TF-Cal 同时增强了对齐性与可分性。