[论文解读] Unveiling the Power of Wavelets: A Wavelet-based Kolmogorov-Arnold Network for Hyperspectral Image Classification

Seyd Teymoor Seydi, Bozorgasl, Zavareh+1 more|arXiv (Cornell University)|Jun 12, 2024

Neural Networks and Applications被引用 8

一句话总结

本文提出了 Wav-KAN，一种基于小波的 Kolmogorov-Arnold Network，用于高光谱图像分类，并在 Salinas 和 Indian Pines 数据集上比 Spline-KAN 和 MLP 表现更优，对 Pavia 也有强劲结果。

ABSTRACT

Hyperspectral image classification is a crucial but challenging task due to the high dimensionality and complex spatial-spectral correlations inherent in hyperspectral data. This paper employs Wavelet-based Kolmogorov-Arnold Network (wav-kan) architecture tailored for efficient modeling of these intricate dependencies. Inspired by the Kolmogorov-Arnold representation theorem, Wav-KAN incorporates wavelet functions as learnable activation functions, enabling non-linear mapping of the input spectral signatures. The wavelet-based activation allows Wav-KAN to effectively capture multi-scale spatial and spectral patterns through dilations and translations. Experimental evaluation on three benchmark hyperspectral datasets (Salinas, Pavia, Indian Pines) demonstrates the superior performance of Wav-KAN compared to traditional multilayer perceptrons (MLPs) and the recently proposed Spline-based KAN (Spline-KAN) model. In this work we are: (1) conducting more experiments on additional hyperspectral datasets (Pavia University, WHU-Hi, and Urban Hyperspectral Image) to further validate the generalizability of Wav-KAN; (2) developing a multiresolution Wav-KAN architecture to capture scale-invariant features; (3) analyzing the effect of dimensional reduction techniques on classification performance; (4) exploring optimization methods for tuning the hyperparameters of KAN models; and (5) comparing Wav-KAN with other state-of-the-art models in hyperspectral image classification.

研究动机与目标

• 动机并解决由于高维性及时空光谱相关性带来的高光谱分类挑战。
• 提出 Wav-KAN，一种将小波集成到 Kolmogorov-Arnold 网络中，具备可学习的小波激活函数。
• 在基准数据集上将 Wav-KAN 与 Spline-KAN 和 MLP 进行比较。
• 分析基于小波的方法在可解释性、效率和参数效率方面的表现。
• 概述未来工作，以验证泛化能力并扩展该架构。

提出的方法

• 在 Kolmogorov-Arnold Network (KAN) 框架内将小波函数作为可学习的激活函数，以实现多尺度建模。
• 利用连续/离散小波变换来捕捉多尺度的时空光谱模式。
• 利用基于小波的激活函数实现非线性映射，参数量少于基于样条的或 MLP 的基线。
• 展示由于小波缩放性质带来的计算效率和鲁棒性，以及对基于网格的函数需求的降低。
• 在三个基准高光谱数据集上提供对 Spline-KAN 和 MLP 的对比评估。

Figure 1: Incorporate hyperspectral dataset in this study

实验结果

研究问题

• RQ1 在标准高光谱数据集上，Wav-KAN 相对于 Spline-KAN 和 MLP 的表现如何？
• RQ2 基于小波的激活函数是否能更好地捕捉高光谱数据中的多尺度时空相关性？
• RQ3 小波设计对准确性、鲁棒性和训练效率的影响是什么？
• RQ4 Wav-KAN 如何在不同的高光谱场景（Indian Pines、Salinas、Pavia）上实现泛化？

主要发现

• Wav-KAN 在各数据集上的平均 OA 为 92.62%，Kappa 为 0.9157，优于 Spline-KAN（OA 89.85%，Kappa 0.8793）和 MLP（OA 77.69%，Kappa 0.7119）。
• 在 Salinas 上，Wav-KAN 达到 OA 0.9341 和 Kappa 0.9264，优于 Spline-KAN（0.9261，0.9178）和 MLP（0.8655，0.8499）。
• 在 Pavia 上，MLP 略微优于其他方法（OA 0.9910，Kappa 0.9873），但 Wav-KAN 仍然非常具有竞争力（OA 0.9901，Kappa 0.9860），Spline-KAN 紧随其后（0.9863，0.9806）。
• 在 Indian Pines 上，Wav-KAN 明显优于其他方法（OA 0.8554，Kappa 0.8348，远胜于 Spline-KAN 0.7731/0.7395 和 MLP 0.3513/0.2984）。
• 结果表明 Wav-KAN 在用更少参数建模复杂的光谱-时空相关性方面具有有效性，并且相比基线具有更好的鲁棒性。
• Spline-KAN 在 Salinas 也表现出色，凸显了理论驱动的核在高光谱分类中的价值。

Figure 2: Result of hyperspectral classification for Salinas dataset. (a) MLP, (b) Spline-KAN, (c) Wav-KAN, (d) Ground Truth