[论文解读] The Role of Typicality in Object Classification: Improving The Generalization Capacity of Convolutional Neural Networks

Babak Saleh, Ahmed Elgammal+1 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Neural Network Applications参考文献 31被引用 10

一句话总结

本文提出通过基于典型性的样本加权来增强卷积神经网络（CNNs）的泛化能力，利用外部和内部典型性信号。通过在损失函数中引入MS-Hinge损失来整合典型性信息，模型在无需微调的情况下显著提升了准确率——在异常样本测试图像上最高达到44.73%，优于基线方法和随机加权方法。

ABSTRACT

Deep artificial neural networks have made remarkable progress in different tasks in the field of computer vision. However, the empirical analysis of these models and investigation of their failure cases has received attention recently. In this work, we show that deep learning models cannot generalize to atypical images that are substantially different from training images. This is in contrast to the superior generalization ability of the visual system in the human brain. We focus on Convolutional Neural Networks (CNN) as the state-of-the-art models in object recognition and classification; investigate this problem in more detail, and hypothesize that training CNN models suffer from unstructured loss minimization. We propose computational models to improve the generalization capacity of CNNs by considering how typical a training image looks like. By conducting an extensive set of experiments we show that involving a typicality measure can improve the classification results on a new set of images by a large margin. More importantly, this significant improvement is achieved without fine-tuning the CNN model on the target image set.

研究动机与目标

• 解决CNN在与训练数据显著不同的异常图像上泛化能力有限的问题。
• 探究尽管拥有大规模训练数据，为何最先进的CNN在异常图像上仍会失效。
• 探索是否可通过基于典型性的训练提升泛化能力，而无需在新数据上进行微调。
• 评估外部和内部典型性信号在增强模型鲁棒性方面的有效性。
• 确定能平衡典型与异常样本的最优加权策略，以提升泛化能力。

提出的方法

• 作者提出一种基于MS-Hinge损失的典型性加权损失函数，其中训练样本根据其典型性得分进行加权。
• 典型性得分通过在图像特征上使用一类SVM（外部）计算，或通过网络激活（如内部概率或熵）内部计算。
• 采用不同函数（线性、对数、指数、多项式）将典型性得分映射为样本权重。
• 使用结合交叉熵与基于典型性的加权的改进损失进行模型训练，以促进更好的表征学习。
• 仅在小规模验证集上进行一次微调，性能在典型和异常测试集上进行评估。
• 该方法在多个CNN架构（如AlexNet）和数据集（包括ImageNet和PASCAL）上进行了验证。

实验结果

研究问题

• RQ1 将典型性信息引入训练损失是否能提升CNN在异常图像上的泛化能力？
• RQ2 使用外部（如一类SVM）或内部（如网络激活统计量）典型性信号是否能带来更好的性能？
• RQ3 与标准或随机加权相比，对典型和异常样本进行对称加权如何影响泛化能力？
• RQ4 基于典型性的训练是否能在单个训练周期后实现更快收敛和更好性能？
• RQ5 尽管拥有大规模训练数据，CNN为何在异常图像上会失效，而基于典型性的重加权能否缓解此问题？

主要发现

• 所提出的典型性加权训练方法在使用AlexNet时，于异常测试图像上达到44.73%的top-1准确率，较基线（30.03%）提升了14.7%。
• 该方法优于随机加权和非典型性加权方案，其中多项式函数（6次方）在异常数据集上取得了最高准确率。
• 即使仅训练一个周期，使用典型性加权的模型在异常图像上的准确率也达到52.72%，而标准训练仅为48.40%。
• 在PASCAL图像上进行微调带来的性能提升高于在ImageNet上，表明PASCAL中更大的多样性增强了典型性加权的优势。
• 微调深层网络（如顶层三个全连接层）会损害在异常图像上的泛化能力，可能是因为在有限数据上过拟合。
• 内部典型性信号（如内部熵或概率）表现具有竞争力，表明典型性信息可从网络本身提取。