[论文解读] SelfNorm and CrossNorm for Out-of-Distribution Robustness

Zhiqiang Tang, Yunhe Gao+4 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 13

一句话总结

本文提出 SelfNorm 和 CrossNorm 两种新型归一化技术，可提升深度神经网络在分布外（OOD）数据上的泛化能力。SelfNorm 利用自注意力机制重新校准通道维度的统计特性，而 CrossNorm 则在特征图之间传递统计信息；二者结合可在多种训练设置下提升视觉与语言任务的鲁棒性。

ABSTRACT

Normalization techniques are crucial in stabilizing and accelerating the training of deep neural networks. However, they are mainly designed for the independent and identically distributed (IID) data, not satisfying many real-world out-of-distribution (OOD) situations. Unlike most previous works, this paper presents two normalization methods, SelfNorm and CrossNorm, to promote OOD generalization. SelfNorm uses attention to recalibrate statistics (channel-wise mean and variance), while CrossNorm exchanges the statistics between feature maps. SelfNorm and CrossNorm can complement each other in OOD generalization, though exploring different directions in statistics usage. Extensive experiments on different domains (vision and language), tasks (classification and segmentation), and settings (supervised and semi-supervised) show their effectiveness.

研究动机与目标

• 解决现有归一化技术的局限性，这些技术虽针对独立同分布（IID）数据进行优化，但在分布外（OOD）数据上表现欠佳。
• 在不依赖分布假设或数据增强的前提下，提升深度神经网络的 OOD 泛化能力。
• 设计可自适应调整统计特性（均值与方差）的归一化机制，以增强 OOD 场景下的鲁棒性。
• 探索基于注意力的统计校准与跨特征图统计操作在提升泛化能力中的互补作用。

提出的方法

• SelfNorm 采用可学习的自注意力机制，动态重新校准特征图中通道维度的均值与方差统计特性。
• CrossNorm 允许在不同特征图之间交换统计特性（均值与方差），以提升表示的多样性与鲁棒性。
• 两种方法均可微分，且可仅以极低计算开销集成至现有深度学习架构中。
• SelfNorm 专注于利用注意力机制对内部特征进行统计重新校准，而 CrossNorm 则促进不同特征图之间的统计交互。
• 这些方法与网络架构无关，适用于视觉与语言任务。
• 它们通过标准反向传播端到端训练，与监督学习和半监督学习保持兼容。

实验结果

研究问题

• RQ1 基于注意力的通道统计特性重新校准能否提升深度网络在 OOD 情况下的泛化能力？
• RQ2 跨特征图的统计特性交换能否增强对分布偏移的鲁棒性？
• RQ3 SelfNorm 与 CrossNorm 在不同领域中是否具有互补作用，从而共同提升 OOD 性能？
• RQ4 在半监督与低数据场景下，这些方法的效能如何？
• RQ5 这些归一化技术是否可在无需架构修改的情况下泛化至视觉与语言任务？

主要发现

• SelfNorm 与 CrossNorm 在多个视觉与语言基准上显著提升了 OOD 泛化能力。
• SelfNorm 与 CrossNorm 的组合相比标准归一化层，实现了更优的 OOD 鲁棒性。
• 这些方法在监督与半监督学习设置下均表现有效，展现出在数据稀缺条件下的强大泛化能力。
• 实验表明，其在 OOD 检测与分布偏移下的准确率方面均取得一致的性能提升。
• 在无需额外数据或架构修改的前提下，这些方法在处理分布外输入时优于现有归一化技术。
• 消融实验确认，SelfNorm 与 CrossNorm 均对鲁棒性有独特贡献，验证了其互补性设计。