[论文解读] Semi-supervised Learning with Graphs: Covariance Based Superpixels For Hyperspectral Image Classification

Philip Sellars, Angelica I. Avilés-Rivero+4 more|arXiv (Cornell University)|Jan 14, 2019

Remote-Sensing Image Classification参考文献 14被引用 5

一句话总结

该论文提出了一种基于图的半监督高光谱图像分类框架，利用基于光谱协方差的超像素来增强特征表示。通过构建基于相似性的边的超像素图，并利用极少的标注数据，该方法在基准数据集上实现了最先进（SOTA）的分类准确率，尤其在每类仅3–20个标注像素的情况下，优于现有方法。

ABSTRACT

In this paper, we present a graph-based semi-supervised framework for hyperspectral image classification. We first introduce a novel superpixel algorithm based on the spectral covariance matrix representation of pixels to provide a better representation of our data. We then construct a superpixel graph, based on carefully considered feature vectors, before performing classification. We demonstrate, through a set of experimental results using two benchmarking datasets, that our approach outperforms three state-of-the-art classification frameworks, especially when an extremely small amount of labelled data is used.

研究动机与目标

• 通过利用有限的标注数据，解决高光谱图像（HSI）分类中成本高、耗时长的标注挑战。
• 克服监督学习所需大规模标注数据集的局限性，以及无监督学习中因病态聚类问题导致的不足。
• 开发一种基于图的半监督框架，整合空间-光谱特征表示与高效的图构建方法，以提升分类性能。
• 设计一种专为高光谱图像定制的新超像素算法，利用局部光谱协方差捕捉光谱与空间上下文信息。
• 在极端数据稀缺条件下，特别是低样本学习场景下，证明所提方法的优越性。

提出的方法

• 应用主成分分析（PCA）在保留98%方差的前提下降低高光谱图像的维度，提升计算效率。
• 提出一种基于光谱协方差矩阵表示的新超像素算法，通过利用局部内容密度动态调整搜索范围，以提高分割质量。
• 使用每个超像素内光谱响应的均值和协方差构建超像素特征向量，以编码空间-光谱信息。
• 构建图结构，其中每个超像素作为节点，边的权重由超像素特征向量之间的相似性决定，采用高斯核函数计算。
• 在图上应用统一的半监督学习框架，通过基于图的标签平滑方法，将少量标注超像素的标签传播至未标注节点。
• 通过粗到细的实验搜索策略优化超参数（如超像素数量、PCA分量数）

实验结果

研究问题

• RQ1 基于图的半监督学习框架是否能在仅使用极少标注数据的情况下，实现高光谱图像分类的优越准确率？
• RQ2 与传统固定窗口或标准超像素方法相比，基于光谱协方差的超像素表示在特征提取方面有何改进？
• RQ3 特征选择与图构建之间的协同作用在低样本学习设置下，对分类性能的提升程度如何？
• RQ4 在极端标注稀缺条件下，所提方法与当前最先进（SOTA）的监督与半监督高光谱图像分类技术相比表现如何？
• RQ5 基于协方差的超像素是否能带来更好的边界保持效果并减少分类图中的噪声？

主要发现

• 在帕维亚大学数据集上，所提出的HSGC方法在每类10个标注像素的情况下实现了91.5%的总体准确率（OA），显著优于LCMR（87.9%）、IFRF（79.1%）和SVM（69.7%）。
• 仅使用每类3个标注像素时，HSGC在帕维亚大学数据集上实现了81.2%的OA，在印第安松林数据集上实现了72.4%的OA，显著超过次优方法（LCMR分别为67.5%和65.4%）。
• 在印第安松林数据集上，HSGC在每类20个标注像素的情况下实现了94.1%的OA，优于LCMR（90.7%）、IFRF（89.4%）和SVM（62.1%）。
• 该方法表现出强鲁棒性与一致性，在10次运行中标准差最低，表明在标注稀缺条件下性能稳定。
• 视觉分析表明，HSGC生成的分类图更平滑，异常值更少，边界保持效果优于对比方法。
• 在帕维亚大学数据集上，HSGC的Kappa系数达到88.9%（每类10个标注像素），在印第安松林数据集上达到88.4%，表明其与真实标签的一致性远超随机水平。