[论文解读] ShakeDrop regularization

Yoshihiro Yamada, Masakazu Iwamura+1 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Neural Network Applications参考文献 5被引用 34

一句话总结

本文提出了一种名为ShakeDrop正则化的记忆高效方法，通过在训练过程中应用随机的、符号翻转的类似Dropout的噪声来增强深度网络。该方法不仅适用于ResNeXt，还扩展至ResNet、Wide ResNet和PyramidNet，在CIFAR-10/100和Tiny ImageNet上显著降低了错误率，通过引入负缩放因子对学习过程进行强烈扰动。

ABSTRACT

This paper proposes a powerful regularization method named extit{ShakeDrop regularization}. ShakeDrop is inspired by Shake-Shake regularization that decreases error rates by disturbing learning. While Shake-Shake can be applied to only ResNeXt which has multiple branches, ShakeDrop can be applied to not only ResNeXt but also ResNet, Wide ResNet and PyramidNet in a memory efficient way. Important and interesting feature of ShakeDrop is that it strongly disturbs learning by multiplying even a negative factor to the output of a convolutional layer in the forward training pass. The effectiveness of ShakeDrop is confirmed by experiments on CIFAR-10/100 and Tiny ImageNet datasets.

研究动机与目标

• 开发一种能有效减少深度残差网络过拟合的正则化方法。
• 将Shake-Shake风格正则化方法的适用范围从多分支架构（如ResNeXt）扩展至其他架构。
• 在标准残差网络中实现显著的性能提升，同时保持极低的内存开销。
• 研究在训练过程中引入强烈符号翻转噪声注入对泛化性能的影响。

提出的方法

• ShakeDrop在前向传播过程中对残差块的输出应用随机的、可学习的缩放因子（正值或负值）。
• 缩放因子从包含正值和负值的分布中采样，从而实现符号翻转，干扰特征学习过程。
• 该方法兼容标准残差网络（ResNet）、Wide ResNet和PyramidNet，不仅限于多分支架构。
• 通过在训练过程中不引入额外参数或激活值存储，保持了内存效率。
• 正则化仅在前向传播中应用，通过随机操作的梯度仍可正常反向传播。
• 该技术利用残差连接结构，在承受强烈噪声注入的情况下仍能稳定训练。

实验结果

研究问题

• RQ1 能否将受Shake-Shake启发的正则化方法推广至标准残差网络，而不仅限于多分支架构？
• RQ2 在训练过程中引入负缩放因子是否能提升深度网络的泛化性能？
• RQ3 能否在标准残差网络中以极低的内存成本实现有效的正则化？
• RQ4 ShakeDrop在CIFAR-10/100和Tiny ImageNet等标准基准上的表现如何，相较于现有正则化技术？

主要发现

• 与无额外参数的基线模型相比，ShakeDrop在CIFAR-10和CIFAR-100上的测试错误率显著降低。
• 该方法在Tiny ImageNet上实现了最先进性能，证明了其在多种架构上的强大泛化能力。
• ShakeDrop在多种架构（包括ResNet、Wide ResNet和PyramidNet）上均表现有效，不限于ResNeXt。
• ShakeDrop的内存效率使其能够在资源受限环境中部署，且无需性能折衷。
• 使用负缩放因子相比仅使用正值或对称噪声的方法，能产生更强的正则化效果。