[论文解读] Wasserstein Diffusion Tikhonov Regularization

A. T. Lin, Yonatan Dukler+2 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用 2

一句话总结

本文提出了一种新颖的Tikhonov正则化方法，利用Wasserstein-2几何结构，以提升判别模型对类内变化和对抗性扰动的鲁棒性。通过将输入噪声建模为Wasserstein高斯分布，并在Wasserstein空间中对损失函数进行泰勒展开，该方法推导出一种高效、依赖输入的平滑正则化项，能够捕捉图像空间中语义上有意义的邻域，从而在计算成本极低的情况下实现高水平正则化，并在CIFAR-10上提升泛化性能。

ABSTRACT

We propose regularization strategies for learning discriminative models that are robust to in-class variations of the input data. We use the Wasserstein-2 geometry to capture semantically meaningful neighborhoods in the space of images, and define a corresponding input-dependent additive noise data augmentation model. Expanding and integrating the augmented loss yields an effective Tikhonov-type Wasserstein diffusion smoothness regularizer. This approach allows us to apply high levels of regularization and train functions that have low variability within classes but remain flexible across classes. We provide efficient methods for computing the regularizer at a negligible cost in comparison to training with adversarial data augmentation. Initial experiments demonstrate improvements in generalization performance under adversarial perturbations and also large in-class variations of the input data.

研究动机与目标

• 为解决深度学习模型在微小、难以察觉的输入扰动下泛化性能差的问题，特别是对抗性攻击的影响。
• 克服基于L2的平滑正则化方法的局限性，后者无法捕捉图像数据中的语义结构。
• 开发一种数据驱动、具备几何感知能力的正则化策略，以反映人类对图像变化的感知方式。
• 在不牺牲测试准确率或产生高昂计算成本的前提下，实现高水平的正则化。

提出的方法

• 利用Wasserstein-2度量在输入图像空间上定义黎曼几何，从而实现依赖位置的邻域定义。
• 在输入空间上定义Wasserstein高斯噪声分布，以建模自然图像变化（如平移和噪声）。
• 在Wasserstein空间中对每个训练样本的损失函数进行泰勒展开，以推导出正则化目标。
• 通过积分展开后的损失，推导出一种Tikhonov型正则化项，其惩罚项包括Wasserstein梯度范数及高阶项。
• 通过由逆度量张量导出的线性加权拉普拉斯矩阵，高效计算正则化项，实现可忽略的计算开销。
• 将正则化项整合到训练目标中，以在保持类间灵活性的同时，沿语义上有意义的方向强制实现平滑性。

实验结果

研究问题

• RQ1 Wasserstein几何能否为图像分类模型提供比欧几里得度量更有效的平滑先验？
• RQ2 基于最优传输的输入相关噪声如何提升对对抗性和自然类内变化的鲁棒性？
• RQ3 与对抗性数据增强相比，引入基于Wasserstein的正则化在计算成本上如何？
• RQ4 损失函数泰勒展开中的高阶项是否能对泛化性能产生显著贡献，而不仅限于一阶梯度惩罚？
• RQ5 所提出的正则化项是否能在不降低测试准确率的前提下，实现有效的高层正则化？

主要发现

• 所提出的Wasserstein扩散正则化项可在保持或提升CIFAR-10测试准确率的同时，实现高水平的正则化。
• 采用该方法训练的模型在应对微小对抗性扰动以及大规模类内变化（如平移）方面表现出显著的鲁棒性提升。
• 正则化项的计算开销可忽略不计，效率优于对抗性数据增强方法。
• 该方法自然捕捉了图像空间中语义上有意义的邻域，使决策边界在自然变化方向上更加平滑。
• 推导出的正则化项包含Wasserstein梯度惩罚和高阶项，相比标准L2方法提供了更精细的平滑先验。
• 初步实验结果表明，该方法在多种扰动环境下均能提升泛化性能，暗示其在真实世界数据变化中具有更广泛的应用潜力。