[论文解读] On-manifold Adversarial Data Augmentation Improves Uncertainty Calibration

Kanil Patel, William Beluch+3 more|arXiv (Cornell University)|Dec 16, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用 7

一句话总结

本文提出了一种基于自编码器生成模型潜在空间的流形上对抗性数据增强方法（OMADA），通过在潜在空间中执行受数据流形约束的对抗性攻击，生成具有挑战性且不确定性丰富的训练样本。OMADA在多种数据集和网络架构上均提升了不确定性校准能力和分类准确率，优于Mixup方法，且与温度缩放等后处理方法相比表现相当或更优。

ABSTRACT

Uncertainty estimates help to identify ambiguous, novel, or anomalous inputs, but the reliable quantification of uncertainty has proven to be challenging for modern deep networks. In order to improve uncertainty estimation, we propose On-Manifold Adversarial Data Augmentation or OMADA, which specifically attempts to generate the most challenging examples by following an on-manifold adversarial attack path in the latent space of an autoencoder-based generative model that closely approximates decision boundaries between two or more classes. On a variety of datasets as well as on multiple diverse network architectures, OMADA consistently yields more accurate and better calibrated classifiers than baseline models, and outperforms competing approaches such as Mixup, as well as achieving similar performance to (at times better than) post-processing calibration methods such as temperature scaling. Variants of OMADA can employ different sampling schemes for ambiguous on-manifold examples based on the entropy of their estimated soft labels, which exhibit specific strengths for generalization, calibration of predicted uncertainty, or detection of out-of-distribution inputs.

研究动机与目标

• 解决深度神经网络中不可靠的不确定性估计问题，特别是在安全关键应用中的挑战。
• 通过生成接近决策边界的逼真、模糊的训练样本，改善不确定性校准。
• 开发一种在保持数据流形一致性的同时生成难分类样本的数据增强策略。
• 通过聚焦于高预测模糊区域，提升泛化能力和异常值检测性能。
• 提供一种在多种架构和数据集上均表现稳定、性能提升可靠的通用方法。

提出的方法

• 训练一个自编码器，以学习训练数据的解耦、低维潜在表征，近似真实的数据流形。
• 使用潜在空间分类器为潜在码预测软标签，从而在潜在空间中实现基于梯度的对抗性攻击。
• 通过沿数据流形方向扰动潜在码，在流形上执行对抗性攻击，生成接近决策边界的样本。
• 使用解码器将对抗性扰动后的潜在码投影回图像空间，生成逼真的增强训练样本。
• 为生成的图像分配来自潜在空间分类器的软标签，确保具备不确定性感知的监督信号。
• 在原始数据基础上，使用OMADA生成的样本及其软标签，训练最终的图像空间分类器，以实现更好的校准性能。

实验结果

研究问题

• RQ1 与标准数据增强相比，流形上的对抗性数据增强是否能提升深度神经网络的不确定性校准？
• RQ2 OMADA在校准性和准确率方面与Mixup及温度缩放等后处理校准方法相比表现如何？
• RQ3 不同采样策略（如基于熵或均匀软标签）对泛化能力和异常值检测的影响是什么？
• RQ4 OMADA是否能在保持分布内准确率的同时提升分布外检测性能？
• RQ5 在多种网络架构和数据集上，OMADA在稳定性与校准性方面的表现如何？

主要发现

• OMADA在多个数据集和架构上一致提升了不确定性校准（ACE）和分类准确率，优于Mixup方法，且与温度缩放方法相比表现相当或更优。
• OMADA-SE（基于高熵软标签采样）在异常值检测方面达到当前最优性能，在WRN和DenseNet上优于CEDA。
• 来自潜在空间分类器的软标签对分布内任务的性能表现至关重要，而均匀标签则更有利于分布外检测。
• OMADA通过生成位于数据流形上且靠近决策边界的样本，增强了模型鲁棒性，提升了泛化能力。
• 该方法在多种架构上表现稳定，未在任何网络上出现显著性能下降，而其他竞争方法则存在此类问题。
• 将OMADA与温度缩放等后处理方法结合可进一步提升性能，表明二者具有正交性与协同效应。