[论文解读] Sea Ice Extraction via Remote Sensed Imagery: Algorithms, Datasets, Applications and Challenges

Anzhu Yu, Wenjun Huang+6 more|arXiv (Cornell University)|Jun 1, 2023

Arctic and Antarctic ice dynamicsEarth and Planetary Sciences被引用 3

一句话总结

本文对2016至2023年期间基于深度学习的遥感影像海冰提取（SIE）进行了全面综述，将算法分类为经典分割、机器学习和深度学习方法。评估了SAR、光学及混合数据集，概述了其在气候科学、导航和地理信息系统（GIS）中的应用，并指出了关键挑战与未来方向，包括大规模模型和先进的极地方向投影。

ABSTRACT

The deep learning, which is a dominating technique in artificial intelligence, has completely changed the image understanding over the past decade. As a consequence, the sea ice extraction (SIE) problem has reached a new era. We present a comprehensive review of four important aspects of SIE, including algorithms, datasets, applications, and the future trends. Our review focuses on researches published from 2016 to the present, with a specific focus on deep learning-based approaches in the last five years. We divided all relegated algorithms into 3 categories, including classical image segmentation approach, machine learning-based approach and deep learning-based methods. We reviewed the accessible ice datasets including SAR-based datasets, the optical-based datasets and others. The applications are presented in 4 aspects including climate research, navigation, geographic information systems (GIS) production and others. It also provides insightful observations and inspiring future research directions.

研究动机与目标

• 系统回顾并分类2016至2023年期间基于遥感影像的海冰提取（SIE）最新进展，重点聚焦深度学习方法。
• 整理并分析可用于海冰分类与分割的公开可用数据集，包括基于SAR、光学及混合数据集。
• 考察SIE在气候研究、极地导航、地理信息系统（GIS）和制图中的实际应用。
• 识别SIE中持续存在的技术挑战，包括数据质量、模型泛化能力以及极地方向投影的局限性。
• 提出未来研究方向，尤其关注大规模模型、动态与多尺度极地方向投影，以及多尺度制图。

提出的方法

• 将SIE方法分为三类：经典图像分割、基于机器学习的方法和基于深度学习的方法，重点强调使用深度卷积神经网络的语义分割。
• 综述并整合35个以上的公开可用数据集，包括SAR（如RADARSAT、TerraSAR-X）、光学（如Sentinel-2、Landsat）及融合数据集，评估其空间分辨率、覆盖范围和标注质量。
• 分析SAR与光学数据的融合，以提升SIE精度，利用光学数据的纹理特征与SAR的全天候能力之间的互补优势。
• 考察无人机及破冰船搭载的航空影像作为补充数据源，在特定区域实现高分辨率、实时SIE的潜力。
• 评估极地方向投影的使用，包括非奇异高斯投影和网络墨卡托转换，以减轻畸变并支持基于网络的地图发布。
• 提出未来的方法论方向，包括基于机器学习的投影设计、动态与多尺度投影，以及随时间变化的海冰数据的多维可视化。

实验结果

研究问题

• RQ1 2016至2023年间，基于深度学习的方法在海冰提取中如何演变？相较于经典方法与机器学习方法，其关键优势是什么？
• RQ2 当前公开可用的SAR、光学及混合遥感数据集在SIE任务中的优势与局限性分别是什么？
• RQ3 SIE方法在气候建模、极地导航和GIS制图等下游应用中以何种方式提供支持？
• RQ4 极地制图中的主要挑战是什么，特别是关于投影畸变与数据可视化方面？
• RQ5 在大规模模型和动态、多维数据表达的背景下，哪些未来研究方向最具有前景以推动SIE的发展？

主要发现

• 基于深度学习的语义分割已成为海冰提取的主导方法，相较于经典方法与机器学习方法，显著提升了精度与鲁棒性。
• 基于SAR的数据集具有高空间分辨率（米级）和全天候能力，使其非常适合精细尺度海冰制图，但存在斑点噪声和复杂的散射特性问题。
• 光学与红外遥感可提供宝贵的纹理与反照率信息，但受限于极昼/极夜周期与轨道约束，导致数据缺失。
• 被动微波遥感提供全球覆盖，但空间分辨率仅为千米级，不足以支持详细SIE与制图任务。
• SAR与光学数据的融合通过结合高分辨率结构信息与光谱反射率数据，显著提升了SIE性能。
• 当前极地制图实践因标准投影中的严重畸变而面临重大挑战；非奇异高斯投影与横轴割圆锥投影被建议作为更适合极地区域的替代方案。