[论文解读] Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts

Qi Fan, Mattia Segù+5 more|arXiv (Cornell University)|Nov 8, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出归一化扰动（NP），一种简单而有效的域泛化方法，通过在深层网络的浅层卷积层中扰动通道统计量，缓解真实世界中的域偏移问题。通过在训练过程中从单一源域合成多样的潜在域风格，NP 使模型能够学习域不变表征，并在无需目标域数据的情况下稳健泛化到未见域，在目标检测和语义分割基准上超越了先前的 SOTA 方法。

ABSTRACT

Improving model's generalizability against domain shifts is crucial, especially for safety-critical applications such as autonomous driving. Real-world domain styles can vary substantially due to environment changes and sensor noises, but deep models only know the training domain style. Such domain style gap impedes model generalization on diverse real-world domains. Our proposed Normalization Perturbation (NP) can effectively overcome this domain style overfitting problem. We observe that this problem is mainly caused by the biased distribution of low-level features learned in shallow CNN layers. Thus, we propose to perturb the channel statistics of source domain features to synthesize various latent styles, so that the trained deep model can perceive diverse potential domains and generalizes well even without observations of target domain data in training. We further explore the style-sensitive channels for effective style synthesis. Normalization Perturbation only relies on a single source domain and is surprisingly effective and extremely easy to implement. Extensive experiments verify the effectiveness of our method for generalizing models under real-world domain shifts.

研究动机与目标

• 为解决真实世界深度学习应用中域偏移的关键挑战，特别是在自动驾驶等安全关键系统中的应用。
• 探究深度模型为何会过拟合于源域的风格，导致在真实世界域偏移下泛化失败的原因。
• 开发一种无需访问目标域数据、额外参数或架构修改的方法，以提升泛化能力。
• 通过特征统计量扰动合成多样的潜在域风格，仅使用单一源域实现有效的域泛化。

提出的方法

• 在训练过程中扰动深层网络浅层卷积层中特征图的通道级均值和标准差，以模拟多样的域风格。
• 归一化扰动（NP）对早期层的批量归一化统计量施加随机扰动，有效增强模型对潜在域差异的感知能力。
• 该方法实现为一种简单、即插即用的模块，无需额外可学习参数、输入或损失函数。
• 作者识别并聚焦于早期层中对风格敏感的通道，以提升风格合成的效率与效果。
• NP 在单一源域上进行训练，使模型能够学习对未见域偏移具有鲁棒性的表征。
• 该方法在目标检测与语义分割任务上均进行了评估，证明其在密集预测任务中的广泛适用性。

实验结果

研究问题

• RQ1 为何深度模型在目标域与源域风格不同时，会因真实世界域偏移而无法泛化？
• RQ2 在不访问目标数据的前提下，仅从单一源域合成潜在域风格，域泛化能力可提升至何种程度？
• RQ3 在浅层中扰动特征统计量如何影响模型学习域不变表征的能力？
• RQ4 像 NP 这样简单且无参数的方法能否在真实世界基准上超越复杂的域泛化与无监督域自适应方法？
• RQ5 哪些层和特征通道对域风格变化最为敏感，以及如何利用它们实现高效的风格合成？

主要发现

• 归一化扰动（NP）在未见域上的泛化性能显著提升，在 Cityscapes 到 Foggy Cityscapes 的目标检测迁移基准上达到 58.7% AP50，超越此前 SOTA 方法的 52.4%。
• NP+ 变体在 S→C 上进一步提升至 58.7% AP50，在 C→F 上达到 46.3%，证明了对风格敏感通道选择的有效性。
• 在语义分割的域泛化任务中，NP 在五个多样化数据集（Cityscapes、BDD100k、Mapillary Vistas、Synthia、GTAV）上的平均 mIoU 达到 52.16%，较此前 SOTA 方法 RobustNet 提升 1.5 个百分点。
• 该方法在目标检测与语义分割任务中均表现出良好泛化能力，展现出超越任务特定方法的广泛适用性。
• t-SNE 可视化结果证实，NP 有效将目标域分布融合进扰动后的源域特征空间，显著降低了深层特征中的域差异。
• 消融实验表明，仅扰动浅层即可实现强大的域泛化能力，凸显了低层特征统计量在域偏移鲁棒性中的关键作用。