[论文解读] Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|Jul 16, 2021

Remote Sensing in Agriculture被引用 6

一句话总结

本文提出U-TAE，一种新颖的端到端、单阶段全景分割框架，用于卫星影像时序序列（SITS），结合基于U-Net的编码器与时间自注意力机制，以建模时空动态。该研究引入了PASTIS，首个公开获取的SITS数据集并附带全景标注，且在全景分割任务上实现了最先进性能，显著优于先前方法。

ABSTRACT

Unprecedented access to multi-temporal satellite imagery has opened new perspectives for a variety of Earth observation tasks. Among them, pixel-precise panoptic segmentation of agricultural parcels has major economic and environmental implications. While researchers have explored this problem for single images, we argue that the complex temporal patterns of crop phenology are better addressed with temporal sequences of images. In this paper, we present the first end-to-end, single-stage method for panoptic segmentation of Satellite Image Time Series (SITS). This module can be combined with our novel image sequence encoding network which relies on temporal self-attention to extract rich and adaptive multi-scale spatio-temporal features. We also introduce PASTIS, the first open-access SITS dataset with panoptic annotations. We demonstrate the superiority of our encoder for semantic segmentation against multiple competing architectures, and set up the first state-of-the-art of panoptic segmentation of SITS. Our implementation and PASTIS are publicly available.

研究动机与目标

• 为解决卫星影像时序序列（SITS）中缺乏端到端全景分割方法的问题，该问题需要对时间跨度内的复杂作物物候进行建模。
• 开发一种时空编码器，自适应地捕捉多时相卫星数据中的显著时间模式，从而同时提升语义分割与实例分割性能。
• 创建并发布PASTIS，首个大规模、公开获取的SITS数据集，附带全景标注，覆盖超过4,000 km²和20亿个标注像素。
• 使用统一的单阶段深度学习框架，建立SITS中农业地块全景分割的新最先进基准。

提出的方法

• 提出U-TAE，一种基于U-Net的编码器，结合多尺度空间卷积与时间自注意力机制，以学习自适应、分辨率特定的时空特征。
• 采用时间注意力模块，在所有特征图分辨率下为每个像素生成注意力掩码，实现分辨率感知的时间特征融合。
• 引入PaPs（Parcels-as-Points），一种针对SITS定制的基于CenterMask的实例分割头，利用学习到的形状补丁与显著性图实现实例预测。
• 使用共享的卷积编码器并行处理所有时相，随后通过分辨率特定的时间注意力机制将时间维度压缩为单一的时空特征图。
• 对时间注意力掩码进行空间插值，以在不同分辨率层级之间对齐，确保所有尺度下的一致性时间建模。
• 使用标准全景分割损失端到端训练完整模型，以识别质量（RQ）与全景质量（PQ）作为评估指标。

实验结果

研究问题

• RQ1 通过联合建模空间、光谱与时间动态，统一的单阶段深度学习框架是否能在卫星影像时序序列上实现最先进全景分割性能？
• RQ2 可学习的时间自注意力机制与循环或卷积时间编码器相比，在捕捉SITS中物候模式方面表现如何？
• RQ3 与单图基线相比，建模时间动态在多大程度上提升了全景分割性能？
• RQ4 所提出的方法是否能通过注意力机制自动过滤云污染图像，从而提升鲁棒性？

主要发现

• 所提出的U-TAE + PaPs框架在PASTIS数据集上实现了43.8的全景质量（PQ），创下SITS全景分割的新最先进水平。
• 将时间注意力编码器替换为U-BiConvLSTM导致PQ显著下降8.2个百分点，证明了注意力机制的优越性。
• 仅使用一张无云图像（如8月）时，PQ仅为14.1，凸显了时间建模在准确地块分割中的关键作用。
• 模型学会减少对云污染图像的关注，云覆盖获取的图像平均仅获得无云图像58%的注意力，表明噪声过滤有效。
• 在不同形状补丁尺寸（S=8至S=24）下性能保持稳定，证实了实例预测头的鲁棒性。
• 此前报告的RQ指标计算中存在一个错误，导致分数被低估约3个PQ点；修正后结果显示所有方法均一致提升了约3个百分点。