[论文解读] Unsupervised Deep Features for Remote Sensing Image Matching via Discriminator Network

Mohbat Tharani, Numan Khurshid+1 more|arXiv (Cornell University)|Oct 15, 2018

Advanced Image and Video Retrieval Techniques参考文献 21被引用 4

一句话总结

本文提出了一种用于遥感图像匹配（RSIM）的无监督深度特征学习框架，采用残差编码器-解码器网络在无标注数据下提取紧凑且具有判别性的特征。该方法用深度判别器网络替代传统距离度量，学习非线性决策边界以区分相似与不相似的图像对，在基准数据集上实现了81.2%的mAP，且在基于内容的遥感图像检索（CBRSIR）中提升了12%。

ABSTRACT

The advent of deep perceptual networks brought about a paradigm shift in machine vision and image perception. Image apprehension lately carried out by hand-crafted features in the latent space have been replaced by deep features acquired from supervised networks for improved understanding. However, such deep networks require strict supervision with a substantial amount of the labeled data for authentic training process. These methods perform poorly in domains lacking labeled data especially in case of remote sensing image retrieval. Resolving this, we propose an unsupervised encoder-decoder feature for remote sensing image matching (RSIM). Moreover, we replace the conventional distance metrics with a deep discriminator network to identify the similarity of the image pairs. To the best of our knowledge, discriminator network has never been used before for solving RSIM problem. Results have been validated with two publicly available benchmark remote sensing image datasets. The technique has also been investigated for content-based remote sensing image retrieval (CBRSIR); one of the widely used applications of RSIM. Results demonstrate that our technique supersedes the state-of-the-art methods used for unsupervised image matching with mean average precision (mAP) of 81%, and image retrieval with an overall improvement in mAP score of about 12%.

研究动机与目标

• 解决深度学习应用中遥感数据标注稀缺的问题。
• 克服监督型CNN对大规模标注数据集进行训练的局限性。
• 用学习到的判别性机制替代传统距离度量（如欧氏距离、余弦相似度），以提升图像匹配性能。
• 开发一种适用于多样化遥感图像领域的鲁棒无监督特征提取方法。
• 在无需迭代相关性反馈的情况下，提升基于内容的遥感图像检索（CBRSIR）性能。

提出的方法

• 利用残差编码器-解码器架构，从遥感图像中学习无监督深度特征。
• 从自编码器的瓶颈层提取特征，作为紧凑的视觉描述符。
• 训练一个深度残差判别器网络，将图像特征对分类为相似或不相似。
• 使用判别器的输出作为学习到的相似度分数，替代传统度量方法。
• 端到端训练判别器，结合对比损失，学习正样本对与负样本对之间的非线性决策边界。
• 在两个公开的遥感图像数据集上，将该框架应用于RSIM与CBRSIR任务。

实验结果

研究问题

• RQ1 通过自编码器架构提取的无监督深度特征，能否有效表征遥感图像以支持匹配任务？
• RQ2 在无监督设置下，深度判别器网络是否优于传统距离度量（如欧氏距离、余弦相似度），以区分相似与不相似的图像对？
• RQ3 所提出的框架是否能在无需标注数据或相关性反馈的情况下，实现基于内容的遥感图像检索的最先进性能？
• RQ4 该方法对遥感图像中如旋转和平移等几何变化的鲁棒性如何？
• RQ5 判别器网络在多样化遥感图像类别上的泛化能力有多大？

主要发现

• 所提方法在LandUse数据集上实现了81.2%的平均平均精度（mAP），优于现有的最先进无监督方法。
• 与现有方法相比，该框架在基于内容的遥感图像检索中mAP提升了约12%。
• 在LandUse数据集上，Top-10检索精度达到99.2%，在SatScene数据集上达到99.8%，表明检索图像具有高度相关性。
• 即使在旋转或平移物体（如交叉路口、储油罐）等挑战性类别上，模型仍保持强劲性能，展现出良好的鲁棒性。
• 混淆矩阵显示，飞机与储油罐类别最常被混淆，以及网球场与高速公路因视觉相似性而混淆。
• 该方法消除了对迭代相关性反馈的需求，显著降低了遥感应用中的标注负担。