[论文解读] PatchShuffle Regularization

Guoliang Kang, Xuanyi Dong+2 more|arXiv (Cornell University)|Jul 22, 2017

Neural Networks and Applications被引用 62

一句话总结

PatchShuffle 是一种 CNN 正则化技术，在训练期间随机在局部补丁内对像素进行打乱，提供局部变化和鲁棒性，而不显著增加计算量。它与其他正则化方法互补，尤其在数据稀缺时可提高泛化能力。

ABSTRACT

This paper focuses on regularizing the training of the convolutional neural network (CNN). We propose a new regularization approach named ``PatchShuffle`` that can be adopted in any classification-oriented CNN models. It is easy to implement: in each mini-batch, images or feature maps are randomly chosen to undergo a transformation such that pixels within each local patch are shuffled. Through generating images and feature maps with interior orderless patches, PatchShuffle creates rich local variations, reduces the risk of network overfitting, and can be viewed as a beneficial supplement to various kinds of training regularization techniques, such as weight decay, model ensemble and dropout. Experiments on four representative classification datasets show that PatchShuffle improves the generalization ability of CNN especially when the data is scarce. Moreover, we empirically illustrate that CNN models trained with PatchShuffle are more robust to noise and local changes in an image.

研究动机与目标

• 在训练数据有限时，激励对 CNN 的正则化以减少过拟合。
• 介绍 PatchShuffle 作为一种轻量、可迁移的正则化器，适用于图像和特征图。
• 证明 PatchShuffle 能与现有正则化方法互补，并提升对噪声和遮挡的鲁棒性。
• 展示在多种数据集和架构上的改进。

提出的方法

• 将 PatchShuffle 定义为以概率 epsilon 应用的一种随机变换，对图像/特征图是保持不变还是在不重叠的 n x n 补丁内打乱像素。
• 将 PatchShuffle 应用到输入图像和卷积层中的特征图，对每个补丁使用独立的随机置换。
• 将训练目标建模为混合：Ls(X,y,θ) = (1−r)L(X,y,θ) + rL(T(X),y,θ) 其中 r ~ Bernoulli(epsilon)。
• 将 PatchShuffle 与模型平均和在补丁内权重共享相关联，提供正则化效果而不丢弃隐藏单元。
• 提供在特征图上应用 PatchShuffle 的算法以及通过保存的补丁置换索引实现的反向梯度映射。
• 在 Hp x Wp 的补丁大小和 shuffle 概率 ε 上进行实验，在 CIFAR-10、SVHN、STL-10 和 MNIST 上进行验证。

实验结果

研究问题

• RQ1 PatchShuffle 是否能提升 CNN 在标准图像分类基准测试上的泛化能力？
• RQ2 补丁大小和打乱概率如何影响性能以及偏差-方差权衡？
• RQ3 将 PatchShuffle 应用于输入图像、中间特征图，还是两者都有效？
• RQ4 PatchShuffle 是否提高对图像中噪声和遮挡的鲁棒性？
• RQ5 PatchShuffle 如何与其他正则化方法（如 dropout、权重衰减、批量归一化）相互作用？

主要发现

• PatchShuffle 在 CIFAR-10 上，跨 NIN 和 ResNet 变体等 CNN 架构，相对于标准反向传播持续提高准确度。
• 在 CIFAR-10 上，在选定设置下，PatchShuffle 相较于标准 BP 的错误率降低最多 0.67 个百分点。
• 将 PatchShuffle 应用于特征图（包括更高的层）可获得显著提升，在 STL-10 上应用到更多层会带来更大改进。
• PatchShuffle 提升对盐和椒噪声及遮挡的鲁棒性，在 MNIST 上噪声增大时性能差距更大。
• PatchShuffle 在广泛的超参数范围内仍然有效；最佳结果来自较小的补丁大小（如 2x2）和适中的打乱概率（如 ε ≈ 0.05）。
• 与单独的数据增强相比，PatchShuffle 作为一种正则化手段，补充其他正则化技术，通常不会增加训练数据量。