[论文解读] Semantic Change Detection with Asymmetric Siamese Networks

Kunping Yang, Gui-Song Xia+5 more|arXiv (Cornell University)|Oct 12, 2020

Remote-Sensing Image Classification参考文献 46被引用 4

一句话总结

本文提出一种用于多时相航拍图像语义变化检测的非对称孪生网络（ASN），通过异质特征提取模块（aSP 和 aRP）捕捉非对称的地表覆盖分布。该模型在多种主干网络上均优于当前最先进方法，mIOU 最高提升 1.9，SeK 最高提升 2.2，基于新构建的大规模基准数据集 SECOND 进行验证，结合自适应阈值学习与独立卡帕系数（SeK）以缓解标签不平衡问题。

ABSTRACT

Given two multi-temporal aerial images, semantic change detection aims to locate the land-cover variations and identify their change types with pixel-wise boundaries. This problem is vital in many earth vision related tasks, such as precise urban planning and natural resource management. Existing state-of-the-art algorithms mainly identify the changed pixels by applying homogeneous operations on each input image and comparing the extracted features. However, in changed regions, totally different land-cover distributions often require heterogeneous features extraction procedures w.r.t each input. In this paper, we present an asymmetric siamese network (ASN) to locate and identify semantic changes through feature pairs obtained from modules of widely different structures, which involve areas of various sizes and apply different quantities of parameters to factor in the discrepancy across different land-cover distributions. To better train and evaluate our model, we create a large-scale well-annotated SEmantic Change detectiON Dataset (SECOND), while an Adaptive Threshold Learning (ATL) module and a Separated Kappa (SeK) coefficient are proposed to alleviate the influences of label imbalance in model training and evaluation. The experimental results demonstrate that the proposed model can stably outperform the state-of-the-art algorithms with different encoder backbones.

研究动机与目标

• 为解决多时相航拍图像中非对称地表覆盖分布带来的语义变化检测准确性挑战。
• 克服对称孪生网络在建模变化区域中地表覆盖复杂度差异下的异质特征时的局限性。
• 构建一种深度学习框架，通过非对称空间与残差金字塔模块捕获局部与全局上下文信息。
• 通过自适应阈值学习（ATL）模块与独立卡帕系数（SeK）缓解训练与评估过程中类别标签不平衡的影响。

提出的方法

• 非对称孪生网络（ASN）采用两种不同架构的编码器（aSP 与 aRP），从多时相图像中提取特征对，实现局部非对称特征学习。
• aSP 模块通过卷积序列与挤压门机制生成感受野各异的多尺度特征，捕获细粒度与上下文细节。
• aRP 模块通过非对称残差连接整合编码器各阶段的特征，增强在多样化地表覆盖类型下的表征学习能力。
• 引入自适应阈值学习（ATL）模块，根据模型预测动态调整输出分数，提升在类别不平衡下的鲁棒性。
• 提出一种新型评估指标——独立卡帕系数（SeK），以校正传统指标在不平衡数据集下产生的不合理评分。
• 构建了一个大规模、标注完善的基准数据集 SECOND，支持训练与评估，涵盖多种地表覆盖类别的语义变化类型。

实验结果

研究问题

• RQ1 通过非相同结构的网络分支实现非对称特征学习，是否能提升在复杂混合地表覆盖分布的多时相航拍图像中的语义变化检测性能？
• RQ2 异质特征提取模块（aSP 与 aRP）的整合，如何影响模型区分细微语义变化的能力？
• RQ3 所提出的自适应阈值学习（ATL）模块在多大程度上减轻了因类别标签不平衡导致的性能下降？
• RQ4 在类别不平衡的语义变化检测场景下，独立卡帕系数（SeK）是否比传统指标（如 mIOU）提供更可靠的评估结果？
• RQ5 所提出的 ASN 模型是否能在不同主干网络（如 ResNet、Xception、Squeeze-and-Excitation）上实现良好泛化，同时保持优越性能？

主要发现

• 所提出的 ASN 模型在所有测试主干网络上均达到最先进性能，使用 Xception 模块时较 HRSCD.str4 提升 1.9 mIOU 与 2.2 SeK。
• 使用 Xception 模块时，自适应阈值学习（ATL）模块使 mIOU 提升 0.9，SeK 提升 0.8；使用 Squeeze-and-Excitation 模块时，分别提升 0.5 与 0.7。
• 消融实验表明，aSP 与 aRP 均有显著贡献，使用 Squeeze-and-Excitation 模块时，aSP 使 mIOU 提升 0.7，SeK 提升 0.8。
• 非对称特征对的整合使变化区域的响应值更具可区分性，如特征图可视化所示，尤其在混合树-建筑区域等模糊区域表现更优。
• 模型在复杂变化区域（如建筑物变化）中显著减少了误报检测，与基线模型的可视化对比验证了该优势。
• 新构建的基准数据集 SECOND 支持可靠评估，并为未来在多样化、真实地表覆盖变化下的语义变化检测研究提供支持。