[论文解读] SGMNet: Scene Graph Matching Network for Few-Shot Remote Sensing Scene Classification

Baoquan Zhang, Shanshan Feng+3 more|arXiv (Cornell University)|Oct 9, 2021

Remote-Sensing Image Classification参考文献 60被引用 5

一句话总结

SGMNET 通过在支持集和查询图像之间进行图级相似性匹配，提出了一种用于少样本遥感场景分类的场景图匹配网络，通过建模对象共现和空间相关性，在极少数标注样本（K=1–5）下实现了最先进性能。

ABSTRACT

Few-Shot Remote Sensing Scene Classification (FSRSSC) is an important task, which aims to recognize novel scene classes with few examples. Recently, several studies attempt to address the FSRSSC problem by following few-shot natural image classification methods. These existing methods have made promising progress and achieved superior performance. However, they all overlook two unique characteristics of remote sensing images: (i) object co-occurrence that multiple objects tend to appear together in a scene image and (ii) object spatial correlation that these co-occurrence objects are distributed in the scene image following some spatial structure patterns. Such unique characteristics are very beneficial for FSRSSC, which can effectively alleviate the scarcity issue of labeled remote sensing images since they can provide more refined descriptions for each scene class. To fully exploit these characteristics, we propose a novel scene graph matching-based meta-learning framework for FSRSSC, called SGMNet. In this framework, a scene graph construction module is carefully designed to represent each test remote sensing image or each scene class as a scene graph, where the nodes reflect these co-occurrence objects meanwhile the edges capture the spatial correlations between these co-occurrence objects. Then, a scene graph matching module is further developed to evaluate the similarity score between each test remote sensing image and each scene class. Finally, based on the similarity scores, we perform the scene class prediction via a nearest neighbor classifier. We conduct extensive experiments on UCMerced LandUse, WHU19, AID, and NWPU-RESISC45 datasets. The experimental results show that our method obtains superior performance over the previous state-of-the-art methods.

研究动机与目标

• 解决少样本遥感场景分类（FSRSSC）中标注数据稀缺的挑战。
• 识别并利用遥感图像的两个独特特性：对象共现和空间相关性，这些特性在现有方法中被忽视。
• 设计一种元学习框架，利用这些特性在极少标注样本下提升泛化能力。
• 设计一种基于场景图的相似性匹配机制，以在低少样本设置下提升分类准确率。

提出的方法

• 为每张遥感图像和场景类别构建场景图，其中节点表示共现对象，边编码空间关系。
• 使用图神经网络对场景图中的对象特征和空间相关性进行编码。
• 实现一个图匹配模块，计算支持集和查询集场景图在节点和边层面的相似性得分。
• 使用学习到的图级相似性得分，通过最近邻分类器进行最终预测。
• 采用元学习进行端到端训练，使用课程式训练（episodic training），每个课程模拟一个少样本分类任务。
• 在图交互层中引入注意力机制，以对齐支持集和查询图中的对应对象。

实验结果

研究问题

• RQ1 在遥感图像中建模对象共现和空间相关性是否能提升少样本分类性能？
• RQ2 所提出的场景图匹配机制与传统基于度量或基于优化的少样本学习方法相比，在遥感数据上表现如何？
• RQ3 对象共现和空间相关性在多大程度上缓解了 FSRSSC 中的数据稀缺问题？
• RQ4 该方法在不同新类别数量（N-way）和少样本设置（K-shot）下具有多强的鲁棒性？

主要发现

• SGMNET 在 UCMerced LandUse、WHU19、AID 和 NWPU-RESISC45 数据集上，所有少样本设置下均达到最先进性能。
• 该方法显著优于现有最先进方法，尤其在 K=1–5 时表现突出，展现出在极端数据稀缺条件下的强大泛化能力。
• 在 UCMerced LandUse 数据集上，SGMNET 相较于先前最先进方法实现了 1.5–3.5% 的准确率提升，且在所有 K-shot 设置下均保持一致改进。
• 可视化结果证实，图匹配机制能有效对齐支持集和查询图像中的对应对象（如水体、船只），并对语义对齐的节点产生高匹配权重。
• 当 K=8–10 时，SGMNET 在 WHU 和 NWPU-RESISC45 数据集上的性能略有下降，表明图建模的优势在低少样本场景中最为显著。
• 该方法在不同 N-way 分类任务（N=2 至 N=5）中保持鲁棒性，相较基线模型持续获得 1–10% 的性能提升。