[论文解读] Towards Deep and Efficient: A Deep Siamese Self-Attention Fully Efficient Convolutional Network for Change Detection in VHR Images

Hongruixuan Chen, Chen Wu+1 more|arXiv (Cornell University)|Aug 18, 2021

Remote-Sensing Image Classification参考文献 53被引用 6

一句话总结

该论文提出EffCDNet，一种用于超大分辨率（VHR）遥感图像变化检测的深度且高效的全卷积孪生网络。通过用高效卷积模块替代标准卷积，并采用轻量级循环十字交叉自注意力解码器，该模型在仅使用基准级别参数量的同时，实现了最先进的准确率，并显著降低了计算成本；此外，两种新颖的信息熵基础损失函数进一步提升了在模糊像素上的性能。

ABSTRACT

Recently, FCNs have attracted widespread attention in the CD field. In pursuit of better CD performance, it has become a tendency to design deeper and more complicated FCNs, which inevitably brings about huge numbers of parameters and an unbearable computational burden. With the goal of designing a quite deep architecture to obtain more precise CD results while simultaneously decreasing parameter numbers to improve efficiency, in this work, we present a very deep and efficient CD network, entitled EffCDNet. In EffCDNet, to reduce the numerous parameters associated with deep architecture, an efficient convolution consisting of depth-wise convolution and group convolution with a channel shuffle mechanism is introduced to replace standard convolutional layers. In terms of the specific network architecture, EffCDNet does not use mainstream UNet-like architecture, but rather adopts the architecture with a very deep encoder and a lightweight decoder. In the very deep encoder, two very deep siamese streams stacked by efficient convolution first extract two highly representative and informative feature maps from input image-pairs. Subsequently, an efficient ASPP module is designed to capture multi-scale change information. In the lightweight decoder, a recurrent criss-cross self-attention (RCCA) module is applied to efficiently utilize non-local similar feature representations to enhance discriminability for each pixel, thus effectively separating the changed and unchanged regions. Moreover, to tackle the optimization problem in confused pixels, two novel loss functions based on information entropy are presented. On two challenging CD datasets, our approach outperforms other SOTA FCN-based methods, with only benchmark-level parameter numbers and quite low computational overhead.

研究动机与目标

• 解决在VHR图像变化检测中模型深度与计算效率之间的权衡问题。
• 在不牺牲性能的前提下，减少深度全卷积网络（FCNs）的参数数量与计算成本。
• 通过基于信息熵的新颖损失函数，提升对模糊或混淆像素的检测能力。
• 设计一种具有极深编码器与轻量级解码器的网络架构，以增强特征表示能力并提升效率。
• 在具有挑战性的公开数据集上，以极简的模型复杂度展示卓越性能。

提出的方法

• EffCDNet用结合深度可分离、分组与通道混洗操作的高效卷积模块替代标准卷积层，以减少参数量。
• 网络采用孪生编码器结构，包含两条深度相同、并行的主干路径，用于从多时相图像对中提取分层特征。
• 对深层特征图应用减法操作，生成富含变化信息的差异图。
• 采用高效空洞空间金字塔池化（EASPP）模块，利用高效卷积实现空洞卷积，以捕捉多尺度变化特征。
• 轻量级解码器采用循环十字交叉自注意力（RCCA）模块，通过高效建模长距离依赖关系，增强特征判别能力。
• 引入两种新颖的信息熵基础损失函数（IEL1与IEW），以在训练过程中优化不确定或混淆像素的优化过程。

实验结果

研究问题

• RQ1 能否在不牺牲VHR变化检测性能的前提下，使极深全卷积网络具备计算高效性？
• RQ2 如何在保持或提升准确率的同时，减少深度FCN的参数量与FLOPs？
• RQ3 采用高效卷积的孪生编码器与轻量级解码器，是否能优于标准UNet类架构？
• RQ4 基于信息熵的损失函数能否改善变化检测中模糊或混淆像素的优化？
• RQ5 所提出的RCCA模块是否能比标准自注意力机制更高效地增强特征判别能力？

主要发现

• EffCDNet达到116层的深度，显著超过大多数现有方法，但参数量仅比基准模型略多。
• 在SVCD与BCD数据集上，EffCDNet在准确率与视觉质量方面均优于所有现有的基于FCN的SOTA方法。
• 当使用IEL1损失训练时，EffCDNet在BCD数据集上实现了80.41%的平均F1分数，超越了交叉熵损失的表现。
• 基于信息熵的损失函数生成的熵图展现出更高的类内同质性与更优的边界定位能力，表明对不确定像素的优化效果更优。
• RCCA模块比标准自注意力机制更高效地增强了特征判别能力，从而在更低计算成本下提升了变化检测性能。
• 所提出的基于熵的损失函数具有良好的泛化能力，不仅在EffCDNet上表现优异，也在其他模型（如FC-EF与IFN）上提升了性能，显示出广泛适用性。