[论文解读] Satellite Image Scene Classification based on Deeper ConvNet with Context Aggregation

Yingbin Zheng, Bingfei Fu+3 more|arXiv (Cornell University)|Feb 2, 2018

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出ResNet-TP，一种双路径残差网络，通过并行路径联合建模局部特征与全局上下文，提升卫星图像场景分类性能。通过融合两条路径的全局平均池化特征，该方法在UCM土地利用和NWPU-RESISC45数据集上实现最先进性能，显著优于现有方法。

ABSTRACT

Scene classification is a fundamental problem to understand the high-resolution remote sensing imagery. Recently, convolutional neural network (ConvNet) has achieved remarkable performance in different tasks, and significant efforts have been made to develop various representations for satellite image scene classification. In this paper, we present a novel representation based on a deeper ConvNet with context aggregation. The proposed two-pathway ResNet (ResNet-TP) architecture adopts the ResNet [1] as backbone, and the two pathways allow the network to model both local details and regional context. The ResNet-TP based representation is generated by global average pooling on the last convolutional layers from both pathways. Experiments on two scene classification datasets, UCM Land Use and NWPU-RESISC45, show that the proposed mechanism achieves promising improvements over state-of-the-art methods.

研究动机与目标

• 通过在高分辨率遥感影像中捕捉局部细节与区域上下文，提升卫星图像场景分类性能。
• 解决标准卷积神经网络在场景分类任务中建模长距离依赖与空间上下文的局限性。
• 开发一种具有两条并行路径的更深残差网络架构，以增强特征表示能力。
• 在基准数据集上评估所提方法，并与最先进方法进行性能比较。

提出的方法

• 所提方法基于残差网络主干，采用双路径ResNet（ResNet-TP）架构，对特征进行并行处理。
• 一条路径专注于学习局部判别性特征，另一条路径则强调捕捉更广泛的区域上下文。
• 网络在每条路径的最终卷积层上应用全局平均池化，生成统一的特征表示。
• 将两条路径的特征拼接或融合，形成上下文感知的表示用于分类。
• 使用标准监督学习与交叉熵损失，在场景分类数据集上端到端训练该架构。

实验结果

研究问题

• RQ1 双路径残差网络架构是否能通过建模局部与全局特征，提升场景分类性能？
• RQ2 通过并行路径实现的上下文聚合，如何影响卫星图像分类中的特征表示？
• RQ3 所提出的ResNet-TP是否在标准卫星场景分类基准上超越现有最先进方法？
• RQ4 局部与上下文特征的融合在多样化土地利用与土地覆盖类别上的泛化能力提升程度如何？

主要发现

• ResNet-TP模型在UCM土地利用数据集上实现最先进性能，优于先前方法。
• 在NWPU-RESISC45数据集上，所提方法显著优于现有最先进方法，准确率大幅提升。
• 消融实验证实，局部与上下文路径均对最终分类性能有显著贡献。
• 在两条路径上均使用全局平均池化，可在避免过拟合的前提下实现高效且紧凑的特征表示。