[论文解读] SSN: Learning Sparse Switchable Normalization via SparsestMax

Wenqi Shao, Tianjian Meng+5 more|arXiv (Cornell University)|Mar 9, 2019

Advanced Neural Network Applications参考文献 34被引用 8

一句话总结

本文提出稀疏可切换归一化（SSN），一种通过新型可微稀疏性诱导函数 SparsestMax 学习每层选择单一归一化器（如 BN、IN、LN）的方法，实现无需牺牲性能的更快推理。SSN 通过将 Switchable Normalization 的软性密集注意力替换为稀疏的一对一选择机制，在 ImageNet、Cityscapes、ADE20K 和 Kinetics 基准上实现了最先进或具有竞争力的结果。

ABSTRACT

Normalization methods improve both optimization and generalization of ConvNets. To further boost performance, the recently-proposed switchable normalization (SN) provides a new perspective for deep learning: it learns to select different normalizers for different convolution layers of a ConvNet. However, SN uses softmax function to learn importance ratios to combine normalizers, leading to redundant computations compared to a single normalizer. This work addresses this issue by presenting Sparse Switchable Normalization (SSN) where the importance ratios are constrained to be sparse. Unlike $\ell_1$ and $\ell_0$ constraints that impose difficulties in optimization, we turn this constrained optimization problem into feed-forward computation by proposing SparsestMax, which is a sparse version of softmax. SSN has several appealing properties. (1) It inherits all benefits from SN such as applicability in various tasks and robustness to a wide range of batch sizes. (2) It is guaranteed to select only one normalizer for each normalization layer, avoiding redundant computations. (3) SSN can be transferred to various tasks in an end-to-end manner. Extensive experiments show that SSN outperforms its counterparts on various challenging benchmarks such as ImageNet, Cityscapes, ADE20K, and Kinetics.

研究动机与目标

• 为解决 Switchable Normalization (SN) 的计算效率低下问题，其在每层使用软性注意力组合多个归一化器。
• 实现在无需依赖非可微 ℓ₀ 或 ℓ₁ 正则化的情况下，端到端训练稀疏归一化器选择。
• 开发一种可微、前向传播的稀疏性诱导函数，确保归一化器的一对一选择。
• 证明稀疏归一化器选择可在保持或提升准确率的同时，提升各类视觉任务的推理速度。

提出的方法

• 提出 SparsestMax，一种可微、稀疏的 Softmax 扩展，通过将输入投影到 L1-球上强制输出为一对一形式，确保每层仅选择一个归一化器。
• 引入稀疏可切换归一化（SSN），其中每个归一化层将 BN、IN 和 LN 的统计量作为加权平均计算，但通过 SparsestMax 限制重要性权重为稀疏形式。
• 使用可学习参数 z 控制选择过程，其中 p = SparsestMax(z) 确保每层仅激活三个归一化器中的一个。
• 采用几何投影方法计算 SparsestMax：将输入向量投影到 L1-球上以强制稀疏性，避免迭代优化。
• 使用反向传播进行端到端训练，将 SparsestMax 作为可微层集成，兼容标准深度学习框架。
• 在多种架构（ResNet、I3D）和任务（分类、分割、动作识别）中应用 SSN，采用 ImageNet 预训练的标准训练协议。

实验结果

研究问题

• RQ1 能否设计一种可微、前向传播机制，在不依赖非可微正则化的情况下，强制在深度网络中实现归一化器的稀疏选择？
• RQ2 学习每层仅选择一个归一化器（而非组合多个）是否能在保持或提升模型准确率的同时提升推理速度？
• RQ3 在不同批量大小的多样化计算机视觉基准上，SSN 与 SN、BN、GN 和 SyncBN 的性能相比如何？
• RQ4 SparsestMax 能否作为通用可微层，在深度学习架构中学习一对一分布？

主要发现

• 在 ADE20K 验证集上，SSN 达到 39.3% 的 mIoU，优于 SyncBN（37.7%）和 GN（36.3%），与 SN（39.1%）相当，且推理效率更高。
• 在 Cityscapes 上，SSN 达到 75.7% 的 mIoU，与 SN（75.8%）相当，显著优于 SyncBN（72.7%）和 GN（72.2%）。
• 在 Kinetics 动作识别任务中，SSN 在批量大小为 8 时达到 73.8% 的 top-1 准确率，优于 SN（73.5%）和 BN（73.3%），且在小批量下表现稳健。
• SSN 搭配 SparsestMax 实现了无需超参数调优的端到端稀疏归一化器选择训练，同时保持与标准深度学习框架的兼容性。
• 消融研究证实，SSN 中的稀疏选择机制避免了冗余计算，相比 SN 显著提升了推理速度。
• SSN 在各类任务中泛化良好：在图像分类（ImageNet）、语义分割（Cityscapes、ADE20K）和动作识别（Kinetics）中均表现提升，展现出广泛适用性。