[论文解读] Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model

Danfeng Hong, Jingliang Hu+3 more|arXiv (Cornell University)|May 21, 2021

Remote-Sensing Image Classification参考文献 55被引用 4

一句话总结

本文提出了一种共享与特定特征学习（S2FL）模型，用于多模态遥感数据，通过将输入分解为模态共享特征与模态特定特征，以提升土地覆盖分类性能。在三个新的基准数据集——休斯顿2013年（HS-MS）、柏林（HS-SAR）和奥格斯堡（HS-SAR-DSM）上评估，S2FL在三模态数据集上实现了83.36%的整体准确率，优于现有方法，达到最先进水平。

ABSTRACT

As remote sensing (RS) data obtained from different sensors become available largely and openly, multimodal data processing and analysis techniques have been garnering increasing interest in the RS and geoscience community. However, due to the gap between different modalities in terms of imaging sensors, resolutions, and contents, embedding their complementary information into a consistent, compact, accurate, and discriminative representation, to a great extent, remains challenging. To this end, we propose a shared and specific feature learning (S2FL) model. S2FL is capable of decomposing multimodal RS data into modality-shared and modality-specific components, enabling the information blending of multi-modalities more effectively, particularly for heterogeneous data sources. Moreover, to better assess multimodal baselines and the newly-proposed S2FL model, three multimodal RS benchmark datasets, i.e., Houston2013 -- hyperspectral and multispectral data, Berlin -- hyperspectral and synthetic aperture radar (SAR) data, Augsburg -- hyperspectral, SAR, and digital surface model (DSM) data, are released and used for land cover classification. Extensive experiments conducted on the three datasets demonstrate the superiority and advancement of our S2FL model in the task of land cover classification in comparison with previously-proposed state-of-the-art baselines. Furthermore, the baseline codes and datasets used in this paper will be made available freely at https://github.com/danfenghong/ISPRS_S2FL.

研究动机与目标

• 为解决异质多模态遥感数据（包括不同分辨率、传感器和成像特性）的融合问题，以提升土地覆盖分类性能。
• 克服现有特征学习方法在未有效融合或缺乏模态特定表示的情况下直接拼接特征的局限性。
• 提供标准化、公开可用的基准数据集，以加速多模态遥感与特征学习领域的研究。
• 开发一种新型特征学习模型，明确分离各模态间的共享与特定成分，以增强表征学习。

提出的方法

• 提出一种共享与特定特征学习（S2FL）模型，将多模态遥感数据分解为共享特征（所有模态共有的部分）和特定特征（每个模态独有的部分）。
• 采用联合优化框架，同时学习共享与特定特征，以保留模态特定信息并实现跨模态对齐。
• 应用促进稀疏性的ℓ₁-范数正则化，以增强特征选择能力，并提高多模态特征学习的鲁棒性。
• 采用共空间学习策略，结合共享与特定组件，实现对异质数据（如高光谱、多光谱、SAR和DSM）的有效融合。
• 在融合后的特征上集成判别性分类器，以执行土地覆盖分类。
• 发布三个新的基准数据集：休斯顿2013年（HS-MS）、柏林（HS-SAR）和奥格斯堡（HS-SAR-DSM），并提供标准化的预处理与评估协议。

实验结果

研究问题

• RQ1 如何有效融合具有异质特性（如不同分辨率、传感器和成像原理）的多模态遥感数据，以提升土地覆盖分类性能？
• RQ2 与传统的基于拼接的方法相比，跨模态分离共享与特定特征在多大程度上能增强特征表征能力和分类准确率？
• RQ3 统一的特征学习模型是否能在不同模态组合（如两模态或三模态）下保持高性能与鲁棒性，实现良好泛化？
• RQ4 促进稀疏性的正则化方法与共享-特定分解策略如何影响模型对训练集规模的敏感性及其泛化能力？

主要发现

• 在HS-SAR-DSM（奥格斯堡）数据集上，S2FL模型实现了83.36%的整体准确率，显著优于次优方法ℓ₁-CoSpace的81.49%。
• 在HS-SAR-DSM数据集上，S2FL实现了61.38%的平均准确率和0.7626的卡帕系数，表现优于ℓ₂-CoSpace与ℓ₁-CoSpace。
• 消融研究证实，S2FL在所有模态组合（包括双模态与三模态设置）下均持续优于ℓ₂-CoSpace与ℓ₁-CoSpace。
• 在特征学习中使用ℓ₁-范数正则化相比ℓ₂-范数正则化带来可观察到的性能提升，表明稀疏性有助于实现更优的融合与表征。
• 与深度学习基线相比，该模型在低数据场景及模态异质性增加时展现出更强的鲁棒性与可解释性。
• 发布三个标准化基准数据集（休斯顿2013年、柏林、奥格斯堡），为未来多模态遥感方法的可复现与可比性评估提供了基础。