[论文解读] Towards an Understanding of Neural Networks in Natural-Image Spaces

Yifei Fan, Anthony Yezzi|arXiv (Cornell University)|Jan 27, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用 3

一句话总结

本文通过基于几何与拓扑原理建模自然图像空间，提出了一种统一解释深度神经网络中数据集偏差与对抗样本的方法。通过识别出始终被错误分类的迷惑性训练样本，并在训练过程中引入‘随机噪声’类别，该方法提升了模型的鲁棒性与准确率——在不增加额外硬件的条件下，测试准确率提升了3%，同时减少了过拟合并增强了泛化能力。

ABSTRACT

Two major uncertainties, dataset bias and adversarial examples, prevail in state-of-the-art AI algorithms with deep neural networks. In this paper, we present an intuitive explanation for these issues as well as an interpretation of the performance of deep networks in a natural-image space. The explanation consists of two parts: the philosophy of neural networks and a hypothetical model of natural-image spaces. Following the explanation, we 1) demonstrate that the values of training samples differ, 2) provide incremental boost to the accuracy of a CIFAR-10 classifier by introducing an additional "random-noise" category during training, 3) alleviate over-fitting thereby enhancing the robustness against adversarial examples by detecting and excluding illusive training samples that are consistently misclassified. Our overall contribution is therefore twofold. First, while most existing algorithms treat data equally and have a strong appetite for more data, we demonstrate in contrast that an individual datum can sometimes have disproportionate and counterproductive influence and that it is not always better to train neural networks with more data. Next, we consider more thoughtful strategies by taking into account the geometric and topological properties of natural-image spaces to which deep networks are applied.

研究动机与目标

• 通过分析自然图像空间的几何与拓扑结构，解决深度学习中长期存在的不确定性问题——数据集偏差与对抗样本。
• 挑战‘更多训练数据总是提升性能’的假设，证明单个样本可能具有不成比例的、甚至适得其反的影响。
• 开发一种数据感知的训练策略，通过检测并重新分类始终被错误分类的‘迷惑性’样本，提升模型的鲁棒性与准确率。
• 基于商空间与等价类提出自然图像空间的假设模型，为更有效的网络训练提供指导。

提出的方法

• 在训练过程中引入一个新的‘随机噪声’类别，逐步提升CIFAR-10分类器的准确率，证明即使缺乏语义内容的噪声数据也能提升性能。
• 检测并排除‘迷惑性’训练样本——即那些始终被错误分类的样本，从而减少过拟合，并提升对对抗样本的鲁棒性。
• 在训练过程中构建累积混淆矩阵，基于高误分类频率识别迷惑性样本。
• 应用商空间模型对图像等价类进行划分，将迷惑性样本重新分类至新类别，并为它们训练一个独立的分类器。
• 在推理阶段使用查表或决策树，将迷惑性测试样本路由至专用分类器，从而提升整体准确率。
• 由于与底层图像空间几何结构对齐更好，可采用更高的学习率进行网络训练，从而提升优化稳定性。

实验结果

研究问题

• RQ1 自然图像空间的几何与拓扑特性在多大程度上导致了数据集偏差与对抗样本？
• RQ2 即使缺乏语义内容，通过引入随机噪声类别进行训练，是否仍能提升分类器准确率？
• RQ3 单个训练样本（尤其是那些始终被错误分类的样本）在多大程度上损害了模型的泛化能力与鲁棒性？
• RQ4 基于图像等价类的商空间模型是否能在不增加模型复杂度的前提下，提升分类准确率与鲁棒性？
• RQ5 如何衡量并利用训练样本的质量与影响，以增强网络性能？

主要发现

• 在训练过程中增加随机噪声类别，使CIFAR-10分类器在干净测试图像上的准确率提升了3%，证明非语义数据也能提升性能。
• 排除始终被错误分类的迷惑性训练样本，显著提升了模型对对抗样本的鲁棒性。
• 该方法在仅轻微降低干净样本准确率的情况下，实现了对对抗样本更高的准确率，某些情况下优于标准对抗训练。
• 所提出策略因过拟合减少，使网络可采用更高的学习率训练，表明优化稳定性得到改善。
• 累积混淆矩阵有效识别出迷惑性样本，验证了该方法检测问题训练实例的能力。
• 商空间模型通过专用分类器与查表机制隔离并重新分类困难样本，实现了3%的准确率提升。