[论文解读] Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup

Jang-Hyun Kim, Wonho Choo+1 more|arXiv (Cornell University)|Sep 15, 2020

Adversarial Robustness in Machine Learning被引用 72

一句话总结

Puzzle Mix 引入一种混合（mixup）方法，使用显著性和局部统计来通过显著性折扣的最优传输目标来优化混合掩码，从而实现更优的泛化和鲁棒性。

ABSTRACT

While deep neural networks achieve great performance on fitting the training distribution, the learned networks are prone to overfitting and are susceptible to adversarial attacks. In this regard, a number of mixup based augmentation methods have been recently proposed. However, these approaches mainly focus on creating previously unseen virtual examples and can sometimes provide misleading supervisory signal to the network. To this end, we propose Puzzle Mix, a mixup method for explicitly utilizing the saliency information and the underlying statistics of the natural examples. This leads to an interesting optimization problem alternating between the multi-label objective for optimal mixing mask and saliency discounted optimal transport objective. Our experiments show Puzzle Mix achieves the state of the art generalization and the adversarial robustness results compared to other mixup methods on CIFAR-100, Tiny-ImageNet, and ImageNet datasets. The source code is available at https://github.com/snu-mllab/PuzzleMix.

研究动机与目标

• 通过在混合决策中利用显著性信息来推动超越标准 mixup 的改进泛化。
• 利用自然样本的局部统计来指导 mixup，超越简单插值。
• 形成一个优化问题，在混合掩码的多标签目标和显著性折扣的最优传输目标之间交替。

提出的方法

• 利用显著性信息来引导混合过程。
• 将混合视为一个优化问题，混合掩码具有多标签目标。
• 应用显著性折扣的最优传输目标以符合局部统计。
• 在混合掩码和传输目标之间交替优化。
• 在链接的代码库中提供源代码实现。

实验结果

研究问题

• RQ1 显著性引导的混合掩码是否能在泛化上超过传统的 mixup 方法？
• RQ2 通过最优传输整合局部统计是否能提升在标准基准上的鲁棒性和性能？
• RQ3 与其他 mixup 方法相比，Puzzle Mix 在 CIFAR-100、Tiny-ImageNet 和 ImageNet 上的表现如何？
• RQ4 提出的交替优化方案对学习动态有何影响？

主要发现

• 在 CIFAR-100、Tiny-ImageNet 和 ImageNet 上实现了与其他 mixup 方法相比的最优泛化。
• 相对于基线 mixup 方法显示出对抗鲁棒性的提升。
• 证明了有效使用显著性信息和局部统计来引导混合。