[论文解读] Spectral-Spatial Contrastive Learning Framework for Regression on Hyperspectral Data

Mohamad Dhaini, Paul Honeine+2 more|arXiv (Cornell University)|Feb 11, 2026

Remote-Sensing Image Classification被引用 0

一句话总结

一个与模型无关的光谱-时空对比学习框架用于高光谱回归，结合3D骨干网络（CNN或Transformer）与回归头，利用光谱与时空增强来提升合成数据和真实数据的性能。

ABSTRACT

Contrastive learning has demonstrated great success in representation learning, especially for image classification tasks. However, there is still a shortage in studies targeting regression tasks, and more specifically applications on hyperspectral data. In this paper, we propose a spectral-spatial contrastive learning framework for regression tasks for hyperspectral data, in a model-agnostic design allowing to enhance backbones such as 3D convolutional and transformer-based networks. Moreover, we provide a collection of transformations relevant for augmenting hyperspectral data. Experiments on synthetic and real datasets show that the proposed framework and transformations significantly improve the performance of all studied backbone models.

研究动机与目标

• 解决标注样本稀少的高光谱数据回归挑战。
• 引入面向高光谱输入的光谱-时空增强工具箱。
• 提出与3D-CNN和Transformer骨干兼容的框架，以学习丰富表示。
• 在合成数据和真实高光谱数据集（包括土壤污染预测）上证明框架的有效性。

提出的方法

• 通过patch处理高光谱块以捕捉局部光谱-时空信息。
• 使用共享的3D骨干网络（3D-CNN或Transformer）从原始patch和增强patch中提取特征。
• 以联合目标训练：回归损失和对比损失，拉近具有相似回归目标的视图。
• 在回归标签空间中使用基于半径的正样本对选择标准（|y^i − y^j| ≤ r）。
• 应用包含光谱平移、光谱翻转、Hapke散射、大气分量校正、弹性失真、波段擦除、波段排列及最近邻混合等的光谱-时空增强工具箱，并加上标准的时空增强（旋转、弹性变形、翻转、平移）。
• 优化 L_total = L_R + α L_Contrastive，其中 L_R 为均方回归误差，L_Contrastive 为在增强视图上的基于余弦相似度的对比损失。

Fig. 1 : Architecture of the proposed framework.

实验结果

研究问题

• RQ1 光谱-时空对比学习是否能在不同骨干网络上提升高光谱数据的回归性能？
• RQ2 光谱、时空以及两者结合的增强对高光谱回归性能的贡献如何？
• RQ3 该框架在合成数据和真实高光谱数据集（如 Samson）以及不同的3D骨干（CNN和Transformer）上是否有效？
• RQ4 在回归为中心的对比学习中使用基于半径的正样本对选择有哪些影响？

主要发现

• 该框架在合成数据上跨多种3D骨干网络优于基线模型，提升回归性能。
• 依次使用光谱、时空及两者结合的增强可在每个骨干网络上获得最佳回归指标。
• 光谱-时空Transformer骨干在合成数据和真实数据（Samson）上均表现最佳。
• 在受不同光谱与时空扰动影响的情境下，对比学习提供稳健提升，展示了增强工具箱在高光谱回归中的价值。
• 在含USGS端元的合成数据和真实的Samson数据集上验证，相对于基线在R^2和MAE上显示一致的改进。

Fig. 2 : Original (blue) and transformed (orange) examples from real spectral data.