[论文解读] Removing the Feature Correlation Effect of Multiplicative Noise

Zijun Zhang, Yining Zhang+1 more|arXiv (Cornell University)|Sep 19, 2018

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种新型正则化技术——非相关乘性噪声（NCMN），该技术可消除批归一化深度神经网络中标准乘性噪声（如Dropout）引起的特征相关性。通过截断噪声分支的梯度并结合批归一化，NCMN有效降低了特征相关性，提升了泛化能力，在图像分类基准测试中优于标准Dropout和Shake-Shake正则化。

ABSTRACT

Multiplicative noise, including dropout, is widely used to regularize deep neural networks (DNNs), and is shown to be effective in a wide range of architectures and tasks. From an information perspective, we consider injecting multiplicative noise into a DNN as training the network to solve the task with noisy information pathways, which leads to the observation that multiplicative noise tends to increase the correlation between features, so as to increase the signal-to-noise ratio of information pathways. However, high feature correlation is undesirable, as it increases redundancy in representations. In this work, we propose non-correlating multiplicative noise (NCMN), which exploits batch normalization to remove the correlation effect in a simple yet effective way. We show that NCMN significantly improves the performance of standard multiplicative noise on image classification tasks, providing a better alternative to dropout for batch-normalized networks. Additionally, we present a unified view of NCMN and shake-shake regularization, which explains the performance gain of the latter.

研究动机与目标

• 识别并解决乘性噪声（如Dropout）带来的此前被忽视的副作用——特征相关性增加，该现象会损害模型泛化能力。
• 开发一种正则化方法，可在不引入显著计算开销或额外超参数的情况下消除该相关性效应。
• 通过揭示NCMN与Shake-Shake正则化在形式上的相似性，为Shake-Shake正则化的成功提供统一的理论解释。
• 证明NCMN在多种网络架构中（尤其是ResNets和Wide Residual Networks）均能持续提升性能。

提出的方法

• 将噪声特征分解为信号与噪声两部分，通过截断噪声分支的梯度，防止优化过程中的漂移。
• 引入一种梯度修改机制，在反向传播中将噪声分支视为常量，从而有效消除其对特征更新的影响。
• 将梯度截断技术与批归一化结合，以抑制训练过程中特征幅值增长的趋势。
• 设计多种NCMN变体（NCMN-0、NCMN-1、NCMN-2），适配不同网络架构，包括普通CNN和残差网络。
• 理论上将NCMN与Shake-Shake正则化关联起来，证明两者均产生具有相似统计特性的噪声，从而抑制特征相关性。
• 将该方法应用于全连接层与卷积层，在标准图像分类设置中验证其有效性。

实验结果

研究问题

• RQ1 如Dropout等乘性噪声是否固有地增加特征相关性？若如此，这对模型泛化能力有何影响？
• RQ2 能否在不引入额外超参数或计算成本的前提下，系统性地消除乘性噪声带来的特征相关性效应？
• RQ3 NCMN与Shake-Shake正则化之间存在何种理论联系？该联系是否能解释Shake-Shake的优越性能？
• RQ4 在不同网络架构下，NCMN与标准Dropout和Shake-Shake在测试准确率和训练稳定性方面表现如何？
• RQ5 NCMN的优势是否也适用于特征相关性本已较低的非CNN架构（如LSTM）？

主要发现

• NCMN显著降低了特征相关性，其相关性水平低于干净特征和标准乘性噪声下的特征。
• 在CIFAR-10和CIFAR-100上，NCMN-2在WRN-22-7.5模型上实现了3.00%的测试误差，优于标准Dropout（3.89%）和Shake-Shake（3.51%），且使用相同架构。
• 使用NCMN-2训练的WRN-28-10模型在仅200个epoch内达到与Shake-Shake在1800个epoch内相当的性能，表明收敛速度大幅提升。
• NCMN-0在不同规模的模型中均表现出一致的性能提升，包括小型网络（160万参数）和大型网络（3650万参数），在CIFAR-10上准确率提升最高达5.10%。
• 在ResNets上，NCMN-2泛化性能最佳；而NCMN-0结构更简单、计算更快，适用于通用场景，体现出对网络架构的敏感性。
• 在LSTM中，由于特征相关性本已较低，NCMN未带来显著优于Dropout的性能提升，证实其优势在高相关性场景下最为显著。