[论文解读] Multisource and Multitemporal Data Fusion in Remote Sensing

Pedram Ghamisi, Behnood Rasti+10 more|arXiv (Cornell University)|Dec 19, 2018

Remote-Sensing Image Classification参考文献 133被引用 13

一句话总结

本文全面综述了多源与多时相遥感数据融合的进展，整合了全色锐化、LiDARD/高光谱融合、点云融合、多时相分析以及社交媒体数据融合方面的研究成果。研究表明，将社交媒体照片与高分辨率遥感数据结合，可将分类准确率提升高达7.68%（例如，FCN准确率从71.23%提升至78.91%），主要通过增强数据标注实现。

ABSTRACT

The sharp and recent increase in the availability of data captured by different sensors combined with their considerably heterogeneous natures poses a serious challenge for the effective and efficient processing of remotely sensed data. Such an increase in remote sensing and ancillary datasets, however, opens up the possibility of utilizing multimodal datasets in a joint manner to further improve the performance of the processing approaches with respect to the application at hand. Multisource data fusion has, therefore, received enormous attention from researchers worldwide for a wide variety of applications. Moreover, thanks to the revisit capability of several spaceborne sensors, the integration of the temporal information with the spatial and/or spectral/backscattering information of the remotely sensed data is possible and helps to move from a representation of 2D/3D data to 4D data structures, where the time variable adds new information as well as challenges for the information extraction algorithms. There are a huge number of research works dedicated to multisource and multitemporal data fusion, but the methods for the fusion of different modalities have expanded in different paths according to each research community. This paper brings together the advances of multisource and multitemporal data fusion approaches with respect to different research communities and provides a thorough and discipline-specific starting point for researchers at different levels (i.e., students, researchers, and senior researchers) willing to conduct novel investigations on this challenging topic by supplying sufficient detail and references.

研究动机与目标

• 整合并分析跨不同研究领域在多源与多时相遥感数据融合方面的最新进展。
• 解决将异构数据源（如光学、SAR、LiDAR、高光谱及社交媒体数据）有效融合为一致、可操作信息的挑战。
• 识别在大数据、深度学习及时空谱一体化背景下，数据融合中的关键方法论空白与未来研究方向。
• 通过利用社交媒体照片提升高分辨率影像标注准确性，评估社交媒体数据对遥感图像分类的影响。
• 为各层次研究人员提供结构化、学科特定的参考，以推动遥感应用中融合技术的发展。

提出的方法

• 对181篇经同行评审的多源与多时相数据融合研究进行系统性综述与整合，按融合模态与研究领域分类。
• 将融合技术分类为基于特征、基于决策以及混合特征-决策融合策略，尤其针对遥感与社交媒体照片的融合。
• 应用深度学习模型（FCN、CNN、带RBF核的SVM）在标注有无社交媒体照片（SMPs）的数据集上进行训练，以评估标注影响。
• 在德国法兰克福的吉林-1卫星数据上，使用微调后的预训练VGG-16网络，结合交叉熵损失进行图像分类任务。
• 采用地统计分析、低秩模型、复合核函数及多分辨率分析方法，以应对数据异质性与分辨率增强问题。
• 利用分量替代与子空间表示技术评估全色锐化与分辨率增强效果，并在CASI休斯顿等真实世界数据集上进行验证。

实验结果

研究问题

• RQ1 如何有效融合来自多种传感器（如光学、SAR、LiDAR、高光谱）的异构遥感数据，以提升信息提取能力？
• RQ2 将社交媒体照片与高分辨率遥感影像融合以提升分类准确率时，最有效的融合策略是什么？
• RQ3 时空谱信息与时间序列数据的融合如何支持动态场景分析的四维（时空）数据建模？
• RQ4 在大数据与深度学习背景下，多源与多时相数据融合面临的关键挑战与未来研究方向是什么？
• RQ5 在用作辅助标注数据时，社交媒体照片在多大程度上能提升遥感图像分类的准确性？

主要发现

• 将社交媒体照片（SMPs）与高分辨率遥感数据结合，可显著提升分类准确率，当使用SMPs进行标注时，FCN准确率从71.23%提升至78.91%。
• 基于CNN的模型在使用SMP标注数据训练时，总体准确率达到74.85%，较未使用SMP的65.72%提升了9.13%。
• SVM模型同样从SMP中受益，总体准确率由61.16%提升至62.40%，表明在不同学习范式下均呈现一致的性能提升。
• 深度神经网络中的基于特征与混合特征-决策融合策略能有效结合遥感与社交媒体数据，实现稳健的场景分类。
• 多时相数据与空间及光谱信息的融合支持动态四维建模，显著增强变化检测与土地覆盖监测能力。
• 尽管方法论已趋成熟，但在标准化融合流程、处理数据异质性以及实现实时应用中大数据工作负载的可扩展性方面，仍存在挑战。