[论文解读] VarMixup: Exploiting the Latent Space for Robust Training and Inference

Puneet Mangla, Vedant Singh+2 more|arXiv (Cornell University)|Mar 14, 2020

Adversarial Robustness in Machine Learning参考文献 5被引用 4

一句话总结

VarMixup 提出了一种新颖的数据增强技术，通过利用深度神经网络的潜在空间生成更具鲁棒性的训练样本，在无需对抗训练的情况下显著提升了对抗鲁棒性。它在 CIFAR-10、CIFAR-100、SVHN 和 Tiny-ImageNet 上优于当前最先进（SOTA）的对抗训练方法，通过从数据流形中主动采样混合图像，实现了更优的鲁棒性、较低的校准误差和更强的可迁移性。

ABSTRACT

The vulnerability of Deep Neural Networks (DNNs) to adversarial attacks has led to the development of many defense approaches. Among them, Adversarial Training (AT) is a popular and widely used approach for training adversarially robust models. Mixup Training (MT), a recent popular training algorithm, improves the generalization performance of models by introducing globally linear behavior in between training examples. Although still in its early phase, we observe a shift in trend of exploiting Mixup from perspectives of generalisation to that of adversarial robustness. It has been shown that the Mixup trained models improves the robustness of models but only passively. A recent approach, Mixup Inference (MI), proposes an inference principle for Mixup trained models to counter adversarial examples at inference time by mixing the input with other random clean samples. In this work, we propose a new approach - extit{VarMixup (Variational Mixup)} - to better sample mixup images by using the latent manifold underlying the data. Our experiments on CIFAR-10, CIFAR-100, SVHN and Tiny-Imagenet demonstrate that extit{VarMixup} beats state-of-the-art AT techniques without training the model adversarially. Additionally, we also conduct ablations that show that models trained on extit{VarMixup} samples are also robust to various input corruptions/perturbations, have low calibration error and are transferable.

研究动机与目标

• 通过改进数据增强来提升鲁棒性，以应对深度神经网络对对抗攻击的脆弱性。
• 通过在混合采样过程中主动利用潜在数据流形，克服标准 Mixup 训练中被动鲁棒性的局限。
• 开发一种训练方法，以在不依赖对抗训练的情况下增强模型对对抗样本、分布偏移和输入噪声的鲁棒性。
• 通过潜在空间中更结构化的采样策略，改善模型校准性。
• 证明基于潜在空间感知的混合采样可生成泛化能力更强、鲁棒性更高的模型，优于使用标准或对抗方法训练的模型。

提出的方法

• VarMixup 引入变分推理框架，从预训练自编码器或特征编码器的潜在空间中采样混合增强数据。
• 它使用变分自编码器（VAE）对输入图像的潜在表示进行建模，从而生成多样化且语义有意义的混合样本。
• 该方法不在像素空间中进行混合，而是在潜在空间中进行，通过插值潜在码来生成新的训练样本。
• 潜在码从学习到的后验分布中采样，确保插值样本位于或接近数据流形。
• 在训练过程中，模型在这些潜在空间混合样本上进行优化，从而鼓励全局线性行为并提升鲁棒性。
• 该方法与标准训练流程兼容，无需生成对抗数据或引入对抗损失项。

实验结果

研究问题

• RQ1 从数据潜在流形中采样混合增强数据，是否能比标准 Mixup 或对抗训练更有效地提升对抗鲁棒性？
• RQ2 VarMixup 是否不仅能提升对对抗样本的鲁棒性，还能增强对自然分布偏移和输入扰动的鲁棒性？
• RQ3 与标准和对抗训练基线相比，使用 VarMixup 训练的模型是否能实现更好的校准性和可迁移性？
• RQ4 VarMixup 在多个基准数据集上的性能与当前最先进（SOTA）对抗训练技术相比如何？
• RQ5 在不使用显式对抗数据增强的情况下，潜在空间插值的使用在多大程度上提升了泛化能力和鲁棒性？

主要发现

• VarMixup 在无需任何对抗训练的情况下，于 CIFAR-10、CIFAR-100、SVHN 和 Tiny-ImageNet 上实现了当前最先进（SOTA）的鲁棒准确率，优于现有对抗训练（AT）方法。
• 使用 VarMixup 训练的模型对各种自然噪声和扰动表现出强鲁棒性，表明其泛化能力超越了对抗样本的范畴。
• 模型表现出较低的校准误差，表明在分布偏移下仍能提供可靠的置信度估计。
• VarMixup 训练的模型展现出高度的可迁移性，表明其学习到的表征具有鲁棒性和泛化能力。
• 消融实验确认，潜在空间采样策略是性能提升的关键，随机采样或像素空间混合无法带来同等收益。
• 该方法在保持高自然准确率的同时实现了卓越的鲁棒性，展示了鲁棒性与标准性能之间有利的权衡。