[论文解读] Switchable Normalization for Learning-to-Normalize Deep Representation

Ping Luo, Ruimao Zhang+3 more|arXiv (Cornell University)|Jul 22, 2019

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出可切换归一化（Switchable Normalization, SN），一种可学习的归一化技术，通过可学习的权重在每个层动态选择批量归一化（BN）、层归一化（LN）和实例归一化（IN）的统计量。SN在多种任务中提升性能——包括图像分类、目标检测、语义分割、人脸验证和风格迁移——通过按层自适应选择归一化策略，优于BN、GN和IN，尤其在小批量设置下表现更优，且无需超参数调优。

ABSTRACT

We address a learning-to-normalize problem by proposing Switchable Normalization (SN), which learns to select different normalizers for different normalization layers of a deep neural network. SN employs three distinct scopes to compute statistics (means and variances) including a channel, a layer, and a minibatch. SN switches between them by learning their importance weights in an end-to-end manner. It has several good properties. First, it adapts to various network architectures and tasks. Second, it is robust to a wide range of batch sizes, maintaining high performance even when small minibatch is presented (e.g. 2 images/GPU). Third, SN does not have sensitive hyper-parameter, unlike group normalization that searches the number of groups as a hyper-parameter. Without bells and whistles, SN outperforms its counterparts on various challenging benchmarks, such as ImageNet, COCO, CityScapes, ADE20K, MegaFace, and Kinetics. Analyses of SN are also presented to answer the following three questions: (a) Is it useful to allow each normalization layer to select its own normalizer? (b) What impacts the choices of normalizers? (c) Do different tasks and datasets prefer different normalizers? We hope SN will help ease the usage and understand the normalization techniques in deep learning. The code of SN has been released at https://github.com/switchablenorms.

研究动机与目标

• 解决在深层网络中对所有层使用单一归一化类型导致性能不佳的问题。
• 消除对人工超参数调优的需求，例如组归一化（GN）中的组数设置。
• 实现在每层自适应选择归一化方式，提升在多样化网络架构和任务中的泛化能力与性能。
• 分析每层独立选择归一化方式是否能提升性能，以及影响选择的因素。

提出的方法

• SN结合三种归一化方式的统计量：批量归一化（BN）在小批量维度计算均值和方差，层归一化（LN）在通道维度计算，实例归一化（IN）在空间维度计算。
• 通过可微分的门控机制学习每种归一化方式的重要性权重，实现选择过程的端到端训练。
• 最终的归一化输出为三种归一化特征的加权和，权重在通道间共享但按层独立学习。
• 该方法适用于卷积神经网络（CNNs）和循环神经网络（RNNs），包括长短期记忆网络（LSTMs），在训练和推理阶段计算开销极低。
• 探索了硬路由（如每层仅选择一种归一化器）以降低推理成本，稀疏SN中50%的层选择BN，可转换为线性层。
• 在SN中应用同步批量归一化（Synchronized Batch Normalization），进一步提升泛化能力，尤其在分布式训练中表现更优。

实验结果

研究问题

• RQ1 是否允许每个归一化层独立选择其归一化器，而非在整个网络中使用固定归一化器，能带来性能提升？
• RQ2 影响每层归一化器选择的因素是什么——网络架构、任务类型还是数据分布？
• RQ3 不同任务和数据集是否偏好不同的归一化技术组合？
• RQ4 在小批量设置下（此时BN性能通常下降），SN表现如何？
• RQ5 SN能否在CNN和RNN（包括架构搜索）中有效应用？

主要发现

• 在ImageNet数据集上使用ResNet50模型，SN在(1,4)小批量设置下达到76.9%的Top-1准确率，优于BN（76.4%）和GN（75.9%），接近理想BN性能。
• SN在极小批量设置下（如每GPU仅2张图像）仍保持高准确率，显著优于BN和GN，后两者在该条件下性能明显下降。
• 在VGG16模型的图像风格迁移任务中，SN收敛速度优于IN和BN，且自动选择IN作为主导归一化器，与该任务中IN的已知偏好一致。
• 在使用LSTM控制器进行神经架构搜索时，SN在CIFAR-10上的验证准确率高于LN和GN，证明其在搜索策略学习中具有更优性能。
• 当在SN层后使用小比例Dropout（0.1–0.2）时，SN可减少过拟合，并在ImageNet上提升泛化能力。
• 稀疏配置下的硬路由使SN推理时间降低50%，其中50%的层选择BN，支持通过线性变换实现高效部署。