[论文解读] Successive Embedding and Classification Loss for Aerial Image Classification

Jiayun Wang, Patrick Virtue+1 more|arXiv (Cornell University)|Dec 5, 2017

Advanced Neural Network Applications参考文献 36被引用 7

一句话总结

本文提出了一种用于航空图像分类的双损失训练策略，将分类损失与嵌入损失结合，后者应用于分类器空间（softmax之前），显著提升了泛化能力。通过在分类器空间同时优化语义分类与类间分离，该方法减少了过拟合，并在MSTAR（98.2%测试准确率）和AID（使用VGG16时为97.0%）基准上实现了最先进性能。

ABSTRACT

Deep neural networks can be effective means to automatically classify aerial images but is easy to overfit to the training data. It is critical for trained neural networks to be robust to variations that exist between training and test environments. To address the overfitting problem in aerial image classification, we consider the neural network as successive transformations of an input image into embedded feature representations and ultimately into a semantic class label, and train neural networks to optimize image representations in the embedded space in addition to optimizing the final classification score. We demonstrate that networks trained with this dual embedding and classification loss outperform networks with classification loss only. %We also study placing the embedding loss on different network layers. We also find that moving the embedding loss from commonly-used feature space to the classifier space, which is the space just before softmax nonlinearization, leads to the best classification performance for aerial images. Visualizations of the network's embedded representations reveal that the embedding loss encourages greater separation between target class clusters for both training and testing partitions of two aerial image classification benchmark datasets, MSTAR and AID. Our code is publicly available on GitHub.

研究动机与目标

• 解决因训练数据有限以及训练与测试环境之间存在领域差异而导致的航空图像分类过拟合问题。
• 通过在标准分类损失之外增强判别性特征表示，提升深度神经网络的泛化能力。
• 探究嵌入损失的最佳应用位置——特征空间与分类器空间之间——以提升鲁棒性与准确率。
• 评估不同嵌入损失函数（对比损失、中心损失）在SAR与航空场景分类中的有效性。
• 证明将嵌入损失移至分类器空间可获得优于在早期特征空间应用的性能提升。

提出的方法

• 使用双重目标训练深度神经网络：标准交叉熵分类损失，以及额外的对比损失或中心损失。
• 将嵌入损失专门应用于分类器空间——即在softmax非线性激活之前的线性投影层——而非早期的特征空间。
• 使用对比损失在分类器空间中最大化类间距离并最小化类内方差。
• 使用中心损失将同一类别的特征拉向分类器空间中的类中心。
• 使用随机梯度下降联合优化网络，同时考虑分类损失与嵌入损失。
• 可视化分类器空间中的嵌入表示，以分析聚类分离度与类内紧凑性。

实验结果

研究问题

• RQ1 与在特征空间应用相比，在分类器空间应用嵌入损失是否能提升航空图像分类的泛化能力？
• RQ2 嵌入损失函数的选择（对比损失 vs. 中心损失）如何影响SAR与航空场景识别中的分类准确率与异常值拒识能力？
• RQ3 双损失策略是否能缩小训练与测试准确率之间的差距，尤其是在存在领域偏移或数据增强的情况下？
• RQ4 将嵌入损失移至分类器空间是否能带来更好的聚类分离效果并减少最终表示中的类内方差？
• RQ5 双损失方法在MSTAR与AID等基准数据集上的性能提升程度如何？

主要发现

• 在MSTAR SAR数据集上，将嵌入损失应用于分类器空间可实现98.2%的测试准确率，显著优于仅使用分类损失的基线模型（91.4%）。
• 在AID航空场景分类数据集上，使用VGG16的分类器空间中心损失双损失方法实现了97.0%的准确率，较基线模型提升2%。
• 在分类器空间应用对比损失可将90%检测率下的误报概率降低至20.5%，优于中心损失与特征空间嵌入损失。
• 可视化结果表明，分类器空间的嵌入损失增强了类间分离度并减少了类内方差，尤其在测试样本中表现明显。
• 该方法减少了过拟合，表现为训练与测试准确率之间的差距更小，并提升了对数据增强与领域偏移的鲁棒性。
• 在特征空间应用中心损失无法带来性能提升，而同一损失在分类器空间中则在两个数据集上均表现出一致的性能改进。