[论文解读] RCDT: Relational Remote Sensing Change Detection with Transformer

Kaixuan Lu, Xiao Huang|arXiv (Cornell University)|Dec 9, 2022

Remote-Sensing Image Classification被引用 7

一句话总结

RCDT 提出了一种简化且高性能的遥感变化检测框架，采用基于 Transformer 的架构，包含参数共享的孪生主干网络、用于双时相特征对应关系建模的关系型交叉注意力机制，以及用于高分辨率细化的特征约束模块。该方法在四个公开数据集上均取得了最先进性能，通过一种高效的交叉注意力机制统一了语义理解、特征对应与注意力功能，展现出卓越的准确率与鲁棒性。

ABSTRACT

Deep learning based change detection methods have received wide attentoion, thanks to their strong capability in obtaining rich features from images. However, existing AI-based CD methods largely rely on three functionality-enhancing modules, i.e., semantic enhancement, attention mechanisms, and correspondence enhancement. The stacking of these modules leads to great model complexity. To unify these three modules into a simple pipeline, we introduce Relational Change Detection Transformer (RCDT), a novel and simple framework for remote sensing change detection tasks. The proposed RCDT consists of three major components, a weight-sharing Siamese Backbone to obtain bi-temporal features, a Relational Cross Attention Module (RCAM) that implements offset cross attention to obtain bi-temporal relation-aware features, and a Features Constrain Module (FCM) to achieve the final refined predictions with high-resolution constraints. Extensive experiments on four different publically available datasets suggest that our proposed RCDT exhibits superior change detection performance compared with other competing methods. The therotical, methodogical, and experimental knowledge of this study is expected to benefit future change detection efforts that involve the cross attention mechanism.

研究动机与目标

• 简化现有依赖堆叠模块进行语义增强、对应关系建模与注意力机制的复杂 AI 变化检测流程。
• 通过将三个关键功能组件统一于单一高效架构中，提升变化检测的性能与泛化能力。
• 解决现有方法在模型复杂度、计算成本以及在噪声或复杂场景中泛化能力差等方面的局限性。
• 验证交叉注意力机制在捕捉超大分辨率（VHR）图像中长距离依赖关系与双时相特征对应关系方面的有效性。

提出的方法

• 采用参数共享的孪生主干网络，从前后时相图像中提取双时相特征，确保参数效率与特征一致性。
• 关系型交叉注意力模块（RCAM）应用偏移感知的交叉注意力机制，显式建模双时相特征之间的对应关系，增强关系感知的表征学习能力。
• 特征约束模块（FCM）在解码过程中施加高分辨率约束，保留空间细节并优化最终预测结果。
• 采用多尺度训练策略以提升特征学习能力，尤其针对小目标与复杂场景。
• 模型架构避免使用复杂的卷积堆叠，转而依赖自注意力与交叉注意力机制，以捕捉全局上下文与长距离依赖关系。
• 可视化特征图与注意力图，验证模型聚焦于变化区域并保持空间保真度的能力。

实验结果

研究问题

• RQ1 统一的轻量化 Transformer 架构是否能在遥感变化检测任务中超越现有复杂、多模块深度学习流水线？
• RQ2 交叉注意力机制在不依赖独立注意力或对应关系模块的前提下，能否有效捕捉双时相特征的对应关系？
• RQ3 所提出的 RCDT 在具有不同空间分辨率与场景复杂度的多样化数据集上，其泛化能力如何？
• RQ4 交叉注意力机制是否能提升在复杂城市与自然环境中对小尺寸或细微变化的检测准确率？
• RQ5 FCM 模块在最终变化检测输出中对保留高分辨率细节方面有何贡献？

主要发现

• 在 LEVIR-CD 数据集上，RCDT 取得 85.50 的平均交并比（IoU），位列第二，优于大多数现有方法。
• 在 DSIFN 数据集上，RCDT 达到 69.89 的 IoU，展现出在复杂城市变化检测中的强大性能。
• 在 CDD 数据集上，RCDT 取得最高 IoU 值 93.79，表明其在多样且具有挑战性的变化模式中具备极佳的泛化能力。
• 在 SYSU-CD 数据集上，RCDT 达到 67.46 的 IoU，证实其在不同地理区域与地表覆盖类型下的鲁棒性。
• 可视化结果表明，模型通过偏移交叉注意力图中的高注意力值，有效聚焦于变化区域。
• 消融实验验证了 RCAM 与 FCM 的集成显著提升了检测准确率与空间精度。