[论文解读] Spatio-temporal crop classification of low-resolution satellite imagery with capsule layers and distributed attention

John Brandt|arXiv (Cornell University)|Apr 23, 2019

Remote Sensing in Agriculture参考文献 6被引用 7

一句话总结

该论文提出CapsAttn，一种结合胶囊层、双向LSTM和时序分布式注意力的深度学习模型，用于在低分辨率Sentinel-2影像上进行时空作物分类。该模型在19类作物数据集上实现了88.0%的最先进准确率，相比先前方法的相对改进超过80%，错误率降低近50%。

ABSTRACT

Land use classification of low resolution spatial imagery is one of the most extensively researched fields in remote sensing. Despite significant advancements in satellite technology, high resolution imagery lacks global coverage and can be prohibitively expensive to procure for extended time periods. Accurately classifying land use change without high resolution imagery offers the potential to monitor vital aspects of global development agenda including climate smart agriculture, drought resistant crops, and sustainable land management. Utilizing a combination of capsule layers and long-short term memory layers with distributed attention, the present paper achieves state-of-the-art accuracy on temporal crop type classification at a 30x30m resolution with Sentinel 2 imagery.

研究动机与目标

• 解决使用缺乏全球覆盖且高分辨率下成本高昂的低分辨率卫星影像进行精确作物类型分类的挑战。
• 克服传统模型（如CNN和LSTM）在捕捉农业时间序列中复杂时空模式方面的局限性。
• 探索胶囊网络与注意力机制在遥感中集成以提升低分辨率数据上的分类性能。
• 研究在无掩码胶囊层中使用交叉熵损失替代边缘损失和重建损失，以改善梯度流动和时间表征的有效性。
• 证明将胶囊层与分布式注意力结合可显著提升时间作物分类任务的模型性能。

提出的方法

• 在6波段Sentinel-2输入（10米和20米波段下采样至10米）上使用1x1二维卷积层并配合ReLU激活函数，覆盖26个时间步。
• 应用主胶囊层，包含1280个胶囊，每个胶囊有10个单元，并使用挤压激活函数以保留空间关系。
• 将胶囊输出展平后输入双向LSTM，每方向240个单元，每个时间步生成480维的隐藏状态。
• 在每个时间步使用可学习权重向量实现时序分布式注意力，通过查询-键交互的softmax计算注意力权重。
• 利用注意力机制重新加权LSTM隐藏状态，公式如下：$ u_{it} = \text{tanh}(W_w h_{it} + b_s) $，$ \alpha_{it} = \frac{\text{exp}(u_{it}^T u_w)}{\sum_t \text{exp}(u_{it}^T u_w)} $，以及 $ s_i = \sum_t \alpha_{it} h_{it} $。
• 将注意力后的LSTM输出通过两个全连接层，分别使用ReLU和Softmax激活函数，实现最终的19分类。

实验结果

研究问题

• RQ1 与标准CNN和LSTM相比，胶囊网络是否能提升低分辨率卫星影像上时间作物分类的准确性？
• RQ2 将分布式注意力与LSTM结合是否能增强模型学习农业物候复杂时间依赖关系的能力？
• RQ3 在本遥感场景下，使用交叉熵损失的无掩码胶囊层训练是否比使用边缘损失的掩码训练更有效？
• RQ4 胶囊层和注意力机制在低分辨率作物分类中各自及联合如何贡献性能提升？
• RQ5 所提出的CapsAttn架构是否能在同一基准数据集上超越现有最先进模型？

主要发现

• CapsAttn在测试集上达到88.0%的准确率，相比Rubwurm和Körner（2017）报告的先前最先进方法，相对改进超过80%。
• 与先前最先进方法相比，该模型将错误率降低了近50%，显著提升了低分辨率时空作物分类的性能。
• 仅使用胶囊层即可将性能从85.6%（CNN-LSTM）提升至86.7%（CapsLSTM），表明其在保留时空特征方面的有效性。
• 仅使用分布式注意力即可将准确率从85.6%（CNN-LSTM）提升至86.3%（CNNAttn），表明其在建模时间依赖模式方面的价值。
• 胶囊层与分布式注意力的结合实现了最高性能（88.0%准确率），证实了其协同效应。
• 共享权重的注意力未提升性能，表明学习每个时间步的独立注意力权重对捕捉复杂农业物候至关重要。