[论文解读] PatchUp: A Regularization Technique for Convolutional Neural Networks

Mojtaba Faramarzi, Mohammadreza Amini+3 more|arXiv (Cornell University)|Jun 14, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用 17

一句话总结

PatchUp 是一种用于卷积神经网络（CNNs）的块级正则化技术，通过在隐藏层混合来自两个随机训练样本的连续特征图块，提升模型的泛化能力和鲁棒性。它缓解了 Mixup 和 CutMix 中存在的流形入侵问题，在 CIFAR-10、CIFAR-100 和 SVHN 上实现了最先进性能，并展现出对仿射变换和对抗性攻击更强的鲁棒性。

ABSTRACT

Large capacity deep learning models are often prone to a high generalization gap when trained with a limited amount of labeled training data. A recent class of methods to address this problem uses various ways to construct a new training sample by mixing a pair (or more) of training samples. We propose PatchUp, a hidden state block-level regularization technique for Convolutional Neural Networks (CNNs), that is applied on selected contiguous blocks of feature maps from a random pair of samples. Our approach improves the robustness of CNN models against the manifold intrusion problem that may occur in other state-of-the-art mixing approaches like Mixup and CutMix. Moreover, since we are mixing the contiguous block of features in the hidden space, which has more dimensions than the input space, we obtain more diverse samples for training towards different dimensions. Our experiments on CIFAR-10, CIFAR-100, and SVHN datasets with PreactResnet18, PreactResnet34, and WideResnet-28-10 models show that PatchUp improves upon, or equals, the performance of current state-of-the-art regularizers for CNNs. We also show that PatchUp can provide better generalization to affine transformations of samples and is more robust against adversarial attacks.

研究动机与目标

• 解决在有限标注数据上训练深层卷积神经网络时存在的高泛化差距问题。
• 缓解现有数据混合方法（如 Mixup 和 CutMix）固有的流形入侵问题。
• 提升模型对仿射变换和对抗性攻击的鲁棒性。
• 探索在高维隐藏特征空间而非输入空间中进行混合的优势。
• 开发一种通过块级特征混合提升多样性与泛化能力的正则化技术。

提出的方法

• PatchUp 选取两个随机训练样本，并在隐藏层中从每个样本中随机采样一个连续的特征图块。
• 对两个样本中选定的特征图块执行逐元素平均操作，生成一个新的混合样本。
• 该混合操作在特征图层面进行，作用于高维隐藏表征，而非输入像素。
• 该技术在训练过程中应用，无需架构修改，也无需额外超参数，仅需标准训练设置。
• 该方法保持了混合块内的空间一致性，避免了基于补丁的混合方法中常见的伪影。
• 它利用隐藏层更丰富的表征能力，生成更具多样性与语义意义的训练样本。

实验结果

研究问题

• RQ1 与输入空间混合方法相比，在隐藏空间中以块为单位混合特征图是否能提升卷积神经网络的泛化能力？
• RQ2 PatchUp 在流形入侵问题上的表现与 Mixup 和 CutMix 相比如何？
• RQ3 在分布偏移和仿射变换下，高维特征空间中的混合是否能带来更好的泛化性能？
• RQ4 与基线正则化方法相比，PatchUp 在对抗性攻击下的鲁棒性提升程度如何？
• RQ5 PatchUp 是否能在不修改架构的前提下，在多个基准数据集上实现最先进性能？

主要发现

• PatchUp 在 CIFAR-10、CIFAR-100 和 SVHN 数据集上的表现与最先进正则化方法相当或更优。
• 该方法在仿射变换下提升了泛化能力，表现出更强的几何扰动不变性。
• 与标准训练和基线数据增强方法相比，PatchUp 展现出更强的对抗性攻击鲁棒性。
• 在标注数据有限的场景下，使用 PatchUp 训练的模型泛化能力优于 Mixup 和 CutMix。
• 在隐藏层中采用连续块混合可减少流形入侵问题，从而实现更稳定、更有意义的数据插值。