[论文解读] ViTs for SITS: Vision Transformers for Satellite Image Time Series

Michail Tarasiou, Erik Chavez+1 more|arXiv (Cornell University)|Jan 12, 2023

Time Series Analysis and Forecasting被引用 6

一句话总结

该论文提出TSViT，一种基于视觉Transformer的卫星影像时序序列（SITS）处理架构，采用时空解耦的标记化方法与获取时间特定的位置编码，以建模长期时间动态。该方法在三个SITS基准数据集上实现了最先进性能，在语义分割与分类任务中均显著超越先前方法。

ABSTRACT

In this paper we introduce the Temporo-Spatial Vision Transformer (TSViT), a fully-attentional model for general Satellite Image Time Series (SITS) processing based on the Vision Transformer (ViT). TSViT splits a SITS record into non-overlapping patches in space and time which are tokenized and subsequently processed by a factorized temporo-spatial encoder. We argue, that in contrast to natural images, a temporal-then-spatial factorization is more intuitive for SITS processing and present experimental evidence for this claim. Additionally, we enhance the model's discriminative power by introducing two novel mechanisms for acquisition-time-specific temporal positional encodings and multiple learnable class tokens. The effect of all novel design choices is evaluated through an extensive ablation study. Our proposed architecture achieves state-of-the-art performance, surpassing previous approaches by a significant margin in three publicly available SITS semantic segmentation and classification datasets. All model, training and evaluation codes are made publicly available to facilitate further research.

研究动机与目标

• 开发一种完全基于注意力机制的深度学习模型，用于通用卫星影像时序序列（SITS）处理，且无需卷积操作。
• 解决在高计算效率与强归纳偏差下建模SITS中长时间序列的挑战。
• 通过可学习的类别标记与获取时间特定的位置编码，提升模型判别能力。
• 验证在SITS建模中，时空解耦顺序相较于时空联合解耦顺序的优越性。
• 在多个基准数据集上实现SITS语义分割与分类任务的最先进性能。

提出的方法

• TSViT将SITS数据划分为非重叠的时空块，将时间与空间视为独立维度。
• 采用解耦的时空编码器，按顺序处理时间与空间维度，注意力机制捕捉全局依赖关系。
• 引入获取时间特定的可学习位置编码，以编码不规则的卫星获取时间，提升时间特征学习能力。
• 使用多个可学习的类别标记，增强类别特定特征聚合，提升分类任务的判别能力。
• 通过自定义解码器头，支持全局（分类）与密集（语义分割）预测头。
• 消融研究评估了设计选择，包括解耦顺序、块大小与标记交互模式。

实验结果

研究问题

• RQ1 在SITS建模中，时空解耦顺序是否优于时空联合解耦顺序？
• RQ2 获取时间特定的位置编码在不规则采样SITS数据上如何提升性能？
• RQ3 多个可学习类别标记对SITS任务中模型判别能力的影响如何？
• RQ4 块大小如何影响TSViT的特征粒度与分割精度？
• RQ5 Transformer的全局感受野在SITS分类与分割中相较于卷积或RNN模型的提升程度如何？

主要发现

• TSViT在三个公开SITS基准数据集上实现最先进性能，使用时空解耦顺序在德国数据集上达到78.5%的mIoU，较时空联合解耦顺序提升29.7%。
• 使用多个类别标记使mIoU提升5.1个百分点（从78.5%增至83.6%），证明其在特征聚合中的有效性。
• 与固定位置编码相比，获取时间特定的位置编码导致性能下降2.8%，证实其在处理不规则获取时间中的重要性。
• 相较于3×3块，2×2小块使mIoU提升1.2%（达84.8%），表明其在保留空间粒度方面更具优势。
• TSViT在语义分割与目标分类任务中均优于所有先前方法，其中分割任务的性能差距最大。
• 尽管具有二次方复杂度，TSViT仍保持了具有竞争力的推理时间与参数量，适用于大规模SITS应用。