[论文解读] Paradigm selection for Data Fusion of SAR and Multispectral Sentinel data applied to Land-Cover Classification

Alessandro Sebastianelli, Maria Pia Del Rosso+2 more|arXiv (Cornell University)|Jun 18, 2021

Remote-Sensing Image Classification被引用 6

一句话总结

本文使用Sentinel-1 SAR和Sentinel-2多光谱数据，评估了四种基于深度学习的数据融合范式——早期融合、联合融合以及两种晚期融合变体——用于土地覆盖分类。结果表明，在固定CNN架构下，加权晚期融合实现了最高的分类准确率（86%的平均F1分数），优于其他框架，为AI4EO应用中最佳融合范式的选择提供了系统性方法。

ABSTRACT

Data fusion is a well-known technique, becoming more and more popular in the Artificial Intelligence for Earth Observation (AI4EO) domain mainly due to its ability of reinforcing AI4EO applications by combining multiple data sources and thus bringing better results. On the other hand, like other methods for satellite data analysis, data fusion itself is also benefiting and evolving thanks to the integration of Artificial Intelligence (AI). In this letter, four data fusion paradigms, based on Convolutional Neural Networks (CNNs), are analyzed and implemented. The goals are to provide a systematic procedure for choosing the best data fusion framework, resulting in the best classification results, once the basic structure for the CNN has been defined, and to help interested researchers in their work when data fusion applied to remote sensing is involved. The procedure has been validated for land-cover classification but it can be transferred to other cases.

研究动机与目标

• 建立一种系统性程序，用于选择AI4EO应用中最佳的数据融合框架，特别是针对土地覆盖分类。
• 评估在固定CNN架构下，不同数据融合范式对分类性能的影响。
• 识别将Sentinel-1 SAR与Sentinel-2多光谱数据结合时最有效的融合策略——早期融合、联合融合或晚期融合。
• 提供一种可迁移的方法论，可应用于土地覆盖分类以外的其他AI4EO任务，如语义分割或变化检测。
• 通过自定义数据集和开源实现验证该框架，以确保可复现性并支持进一步研究。

提出的方法

• 在共享CNN架构上实现四种数据融合范式：早期融合（拼接原始输入）、联合融合（共享特征提取）以及两种晚期融合变体（预测结果的求和与加权聚合）。
• 通过Google Earth Engine获取同一地理区域的Sentinel-1双极化SAR和Sentinel-2 Level-2A多光谱数据，覆盖五种植被类型：城市、海岸线、湖泊、河流和植被。
• 使用独热编码表示真实标签，每个类别映射为一个向量，其中仅对应类别的索引为1.0，其余为0.0。
• 模型训练采用监督学习，所有融合框架均使用相同的CNN主干网络，以隔离融合策略对性能的影响。
• 性能通过标准指标进行评估：准确率、精确率、召回率和F1分数，按类别计算后取平均值。
• 加权晚期融合策略在聚合前对预测分数应用类别特定权重，从而提升在类别不平衡情况下的性能。

实验结果

研究问题

• RQ1 在将Sentinel-1 SAR与Sentinel-2多光谱数据用于土地覆盖分类时，哪种数据融合范式——早期融合、联合融合或晚期融合——能实现最高的分类准确率？
• RQ2 融合策略的选择如何影响不同土地覆盖类别上的精确率、召回率和F1分数，特别是在类别不平衡存在的情况下？
• RQ3 与标准晚期融合或其他范式相比，加权晚期融合方法是否能提升对少数类别的性能？
• RQ4 能否建立一种系统性程序，用于融合范式选择，使其可迁移至土地覆盖分类以外的其他AI4EO应用？
• RQ5 当仅使用SAR、仅使用光学数据或融合数据时，性能指标如何变化？这些结果对模型设计提供了哪些启示？

主要发现

• 加权晚期融合实现了86%的最高平均F1分数，显著优于其他范式，包括早期融合（80%）和标准晚期融合（85%）。
• 加权晚期融合框架在城市类别上达到100%准确率，在湖泊和植被类别上达到98%准确率，表明其在主导类别上具有强大的泛化能力。
• 仅使用Sentinel-2时，平均准确率为78%，F1分数为79%；仅使用Sentinel-1时，准确率和F1分数均为79%，表明在无融合情况下性能中等。
• 联合融合实现86%的平均F1分数和86%的准确率，排名第二，但在海岸线类别的精确率较低（0.84），低于加权晚期融合（0.87）。
• 早期融合在植被类别上表现强劲（100%准确率），但在河流类别（66%准确率）和海岸线类别（78%准确率）上表现较差，表明其对输入维度敏感。
• 混淆矩阵和指标可视化结果表明，加权晚期融合显著减少了误分类，尤其在河流和湖泊类别上，这些类别在其他范式中常被混淆。