[论文解读] SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution

Gengchen Mai, Ni Lao+8 more|arXiv (Cornell University)|Sep 30, 2023

Advanced Image Fusion TechniquesEngineering被引用 3

一句话总结

本文提出空间-光谱隐式函数（SSIF），一种神经隐式模型，将图像表示为连续空间坐标和波长的函数，从而实现在任意分辨率下的联合空间-光谱超分辨率。即使在基线模型针对每种分辨率进行微调的情况下，SSIF在下游土地利用分类任务中仍实现了高达7%的准确率提升。

ABSTRACT

Existing digital sensors capture images at fixed spatial and spectral resolutions (e.g., RGB, multispectral, and hyperspectral images), and each combination requires bespoke machine learning models. Neural Implicit Functions partially overcome the spatial resolution challenge by representing an image in a resolution-independent way. However, they still operate at fixed, pre-defined spectral resolutions. To address this challenge, we propose Spatial-Spectral Implicit Function (SSIF), a neural implicit model that represents an image as a function of both continuous pixel coordinates in the spatial domain and continuous wavelengths in the spectral domain. We empirically demonstrate the effectiveness of SSIF on two challenging spatio-spectral super-resolution benchmarks. We observe that SSIF consistently outperforms state-of-the-art baselines even when the baselines are allowed to train separate models at each spectral resolution. We show that SSIF generalizes well to both unseen spatial resolutions and spectral resolutions. Moreover, SSIF can generate high-resolution images that improve the performance of downstream tasks (e.g., land use classification) by 1.7%-7%.

研究动机与目标

• 解决在图像超分辨率任务中为每个独特空间与光谱分辨率组合单独训练深度学习模型的挑战。
• 克服现有神经隐式函数在光谱域中分辨率固定的局限性。
• 开发一种统一模型，能够在无需微调的情况下泛化至未见过的空间与光谱分辨率。
• 提升超分辨率图像在遥感土地利用分类等下游任务中的保真度。
• 实现连续光谱表示，以支持任意光谱分辨率输出，包括无限多波段。

提出的方法

• 将图像表示为神经隐式函数，将连续空间坐标（x, y）和连续波长（λ）映射到像素强度。
• 使用多分支编码器处理低分辨率多光谱图像（LR-MSI），提取空间与光谱特征。
• 集成一个可学习的光谱编码器，将波长映射为类似于分段线性或PK基函数的嵌入向量。
• 采用基于坐标的网络（SIF）从空间坐标与光谱嵌入中预测高分辨率图像值。
• 使用L1损失与感知损失端到端训练模型，以保持结构与光谱保真度。
• 通过将隐式函数条件化于输入图像特征以及连续查询坐标/波长，实现零样本泛化。

Figure 1: Spatial-Spectral Implicit Function ( \modelname ). Given an input low-resolution multispectral (LR-MSI) image, \modelname can perform both spatial (blue arrows) and spectral (red arrows) super-resolution simultaneously (illustrated with a specific pixel A). Unlike all the other neural impl

实验结果

研究问题

• RQ1 单一神经隐式模型是否能够在超分辨率任务中泛化至多样化的空间与光谱分辨率？
• RQ2 连续光谱表示是否在高光谱图像超分辨率中优于固定基函数的光谱建模？
• RQ3 与现有方法相比，所提模型在土地利用分类等下游任务中的表现如何？
• RQ4 该模型在未见空间与光谱分辨率（训练分布外）的泛化能力达到何种程度？
• RQ5 所学习的光谱嵌入类似于何种类型的光谱基函数？它们如何提升重建质量？

主要发现

• SSIF在CAVE与Pavia Centre数据集上持续优于最先进基线模型，即使这些基线模型针对每种光谱分辨率进行了微调。
• 在Pavia Centre土地利用分类任务中，SSIF-RF-GS相比最佳基线LIIF，准确率提升1.7%至7%。
• 该模型能有效泛化至未见的空间分辨率（如缩放因子2、3、4、8）以及训练分布外的光谱分辨率。
• 光谱编码器学习到的嵌入类似于经典分段线性（PL）或连续PK基函数，支持灵活的光谱表示。
• SSIF实现了高保真度的超分辨率，结果在感知上自然可信，经由定量指标与下游任务表现双重验证。
• 该模型在多种光谱波段配置下表现出鲁棒性，包括非均匀间隔的波段，表明其灵活性超越标准RGB或高光谱格式。

(a) Data Preparation