[论文解读] Switchable Whitening for Deep Representation Learning

Xingang Pan, Xiaohang Zhan+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Neural Network Applications参考文献 31被引用 13

一句话总结

本文提出可切换白化（Switchable Whitening, SW），一种可学习的归一化模块，通过在训练过程中动态选择每层最优操作，统一批量白化、实例白化与标准化技术。SW 在多种视觉任务中实现最先进性能，包括在 ADE20K 数据集上达到 45.33% 的 mIoU，且在分类、分割、域自适应与风格迁移任务中均显著优于 BN 基线模型。

ABSTRACT

Normalization methods are essential components in convolutional neural networks (CNNs). They either standardize or whiten data using statistics estimated in predefined sets of pixels. Unlike existing works that design normalization techniques for specific tasks, we propose Switchable Whitening (SW), which provides a general form unifying different whitening methods as well as standardization methods. SW learns to switch among these operations in an end-to-end manner. It has several advantages. First, SW adaptively selects appropriate whitening or standardization statistics for different tasks (see Fig.1), making it well suited for a wide range of tasks without manual design. Second, by integrating benefits of different normalizers, SW shows consistent improvements over its counterparts in various challenging benchmarks. Third, SW serves as a useful tool for understanding the characteristics of whitening and standardization techniques. We show that SW outperforms other alternatives on image classification (CIFAR-10/100, ImageNet), semantic segmentation (ADE20K, Cityscapes), domain adaptation (GTA5, Cityscapes), and image style transfer (COCO). For example, without bells and whistles, we achieve state-of-the-art performance with 45.33% mIoU on the ADE20K dataset. Code is available at https://github.com/XingangPan/Switchable-Whitening.

研究动机与目标

• 将多样化的归一化技术——如标准化（例如 BN、IN、LN）与白化（例如 BW、IW）——统一至单一可学习框架中。
• 实现每层归一化操作的端到端学习，动态适应任务需求，无需人工设计。
• 探究白化与标准化在深度表征学习中的相对贡献。
• 提供一种工具，用于分析不同归一化方法在各类视觉任务中的行为与有效性。

提出的方法

• SW 通过可学习的重要性权重，将多种归一化操作（如 BW、IW、BN、IN、LN）整合至单一可微模块中。
• 每种归一化类型独立计算其自身的统计量（均值与协方差），并由可学习参数控制的加权和进行融合。
• 重要性权重通过端到端训练，使网络能够动态选择每层与任务最合适的归一化方式。
• 该方法支持最小（BW、IW）与完整（BW、IW、BN、IN、LN）归一化器集合，实现灵活适配。
• 该框架即插即用，可无缝集成至任意 CNN 架构中，无需修改网络结构。
• 分析重要性权重的学习动态，以理解任务特定的归一化偏好。

实验结果

研究问题

• RQ1 统一的归一化框架能否根据任务需求学习在不同白化与标准化技术间切换？
• RQ2 实例白化（IW）是否对图像分类与域自适应等高层视觉任务有益？
• RQ3 当已应用白化时，标准化是否仍为必要，还是完全白化已足够？
• RQ4 不同归一化技术之间如何相互作用，其在各类视觉任务中的相对贡献为何？

主要发现

• SW 在 ADE20K 语义分割基准上实现最先进性能，mIoU 达到 45.33%，优于先前方法。
• 在 ImageNet 上，SW 相较于基于 BN 的基线模型，使用 ResNet50 时准确率提升 1.51%。
• 在 Cityscapes 语义分割任务中，SW 相较于基于 BN 的模型实现 4.1% 的准确率增益。
• 在域自适应任务（GTA5 → Cityscapes）中，SW 使用 VGG16 时相较 BN 基线性能提升 3.0%。
• 在图像风格迁移任务中，SW 性能与实例白化（IW）相当，且优于实例归一化（IN），同时内容损失更低。
• 分析表明，BW 与 IW 是 SW 中的主导选择，表明在多数任务中，完全白化已基本涵盖标准化的需求。