[论文解读] Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention

Farnoosh Heidary, Mehran Yazdi+2 more|arXiv (Cornell University)|Jan 31, 2021

Remote-Sensing Image Classification参考文献 26被引用 5

一句话总结

本文提出了一种用于超分辨率遥感图像城市变化检测的完全卷积孪生拼接网络，结合注意力机制。通过在预处理中引入高斯注意力，并采用可学习注意力门层，该方法提升了特征表示能力，在OSCD和RIVER-CD数据集上实现了最先进性能，展现出在检测城市用地变化方面的卓越准确性和鲁棒性。

ABSTRACT

Change detection (CD) is an important problem in remote sensing, especially in disaster time for urban management. Most existing traditional methods for change detection are categorized based on pixel or objects. Object-based models are preferred to pixel-based methods for handling very high-resolution remote sensing (VHR RS) images. Such methods can benefit from the ongoing research on deep learning. In this paper, a fully automatic change-detection algorithm on VHR RS images is proposed that deploys Fully Convolutional Siamese Concatenate networks (FC-Siam-Conc). The proposed method uses preprocessing and an attention gate layer to improve accuracy. Gaussian attention (GA) as a soft visual attention mechanism is used for preprocessing. GA helps the network to handle feature maps like biological visual systems. Since the GA parameters cannot be adjusted during network training, an attention gate layer is introduced to play the role of GA with parameters that can be tuned among other network parameters. Experimental results obtained on Onera Satellite Change Detection (OSCD) and RIVER-CD datasets confirm the superiority of the proposed architecture over the state-of-the-art algorithms.

研究动机与目标

• 为解决在超分辨率遥感（VHR RS）图像中实现精确城市变化检测的挑战。
• 通过利用深度学习，克服传统基于像素和基于对象的变化检测方法的局限性。
• 通过模拟生物视觉系统的注意力机制，改进变化检测中的特征表示。
• 开发一种完全自动化的、端到端可训练的框架，用于城市变化检测。
• 通过集成可在训练过程中自适应调整的可学习注意力门层，提升模型性能，克服传统注意力机制中固定参数的限制。

提出的方法

• 该方法采用完全卷积孪生拼接（FC-Siam-Conc）网络架构，处理成对的事件前和事件后遥感图像。
• 在预处理中应用高斯注意力（GA）作为软视觉注意力机制，以突出显著特征，模拟生物视觉注意力。
• 引入注意力门层以替代固定的GA参数，实现具有可调注意力权重的端到端训练。
• 网络将来自两个分支（事件前和事件后图像）的特征图进行拼接，直接在特征空间中学习变化模式。
• 模型采用监督学习进行端到端训练，使用真实变化图作为监督信号，优化像素级分类目标。
• 该架构在两个基准数据集上进行评估：Onera卫星变化检测（OSCD）和RIVER-CD，采用F1-score和IoU等标准指标。

实验结果

研究问题

• RQ1 与现有方法相比，结合注意力机制的完全卷积孪生网络是否能提升超分辨率遥感图像中的变化检测精度？
• RQ2 高斯注意力作为预处理步骤，在增强变化检测的特征表示方面效果如何？
• RQ3 引入可学习注意力门层是否能带来优于固定注意力机制的性能提升？
• RQ4 所提出方法在不同城市变化检测场景中的泛化能力如何？
• RQ5 该模型是否能在不依赖基于对象的分割或手工设计特征的情况下实现最先进性能？

主要发现

• 所提出的结合注意力门的FC-Siam-Conc网络在OSCD数据集上优于最先进方法，取得了更高的F1-score和IoU。
• 在RIVER-CD数据集上，该模型表现出稳健性能，证实其在不同城市环境和图像特征下的有效性。
• 在预处理中集成高斯注意力显著提升了特征图质量，从而更有效地检测细微变化。
• 可学习注意力门层在训练过程中实现了动态注意力加权，带来更具适应性和准确的特征选择。
• 消融实验表明，注意力门和高斯注意力组件均对最终性能提升有显著贡献。
• 该模型在无需额外后处理或基于对象的分析下实现了卓越性能，凸显其端到端高效性。